知財求人 - 知財ポータルサイト「IP Force」
▶ 江口 満男の特許一覧 ▶ ライトロン・インターナショナル株式会社の特許一覧
特許6126523ＴＶ映像向け加速超解像処理方法及び同方法によるＴＶ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6126523
(24)【登録日】2017年4月14日
(45)【発行日】2017年5月10日
(54)【発明の名称】ＴＶ映像向け加速超解像処理方法及び同方法によるＴＶ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体
(51)【国際特許分類】
H04N 5/21 20060101AFI20170424BHJP
G06T 5/20 20060101ALI20170424BHJP
【ＦＩ】
H04N5/21 B
G06T5/20
【請求項の数】27
【全頁数】56
(21)【出願番号】特願2013-255951(P2013-255951)
(22)【出願日】2013年12月11日
(65)【公開番号】特開2015-115747(P2015-115747A)
(43)【公開日】2015年6月22日
【審査請求日】2016年11月9日
【早期審査対象出願】
(73)【特許権者】
【識別番号】513312823
【氏名又は名称】江口 満男
(73)【特許権者】
【識別番号】513317253
【氏名又は名称】ライトロン・インターナショナル株式会社
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(74)【代理人】
【識別番号】100117455
【弁理士】
【氏名又は名称】千ヶ崎 茂樹
(74)【代理人】
【識別番号】100113701
【弁理士】
【氏名又は名称】木島 隆一
(72)【発明者】
【氏名】江口 満男
【審査官】
西谷 憲人
(56)【参考文献】
【文献】
国際公開第２０１１／０９９２４４（ＷＯ，Ａ１）
【文献】
特開２０１３−１７５００３（ＪＰ，Ａ）
【文献】
特開２０１３−００３６１０（ＪＰ，Ａ）
【文献】
国際公開第２００６／０４１１２６（ＷＯ，Ａ１）
【文献】
国際公開第２００７／１２２８３８（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／１４
Ｇ０６Ｔ ５／００
Ｈ０４Ｎ ７／０１
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
１フレーム分のＴＶ映像信号に含まれるフレームから光学的劣化を低減して劣化前の１フレーム分のＴＶ映像信号を復元するＴＶ映像向け加速超解像処理方法であって、
（Ｓ１）最大反復演算回数を設定する工程と、
（Ｓ２）前記ＴＶ映像を見ながら前記ＴＶ映像の劣化状況に適した劣化示数を指定する劣化示数指定工程と、
（Ｓ３）前記劣化示数に紐づいた第１番目のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の輝度分布及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布を準備するＰＳＦ準備工程と、
（Ｓ４）１フレーム分の輝度分布から成る劣化画像の輝度分布を１フレーム分のＴＶ映像信号から準備する劣化画像準備工程と、
（Ｓ５）前記劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す復元画像初期値準備工程と、
（Ｓ６）前記１連のＰＳＦの輝度分布は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズと呼ぶ時、このＰＳＦサイズを求めるＰＳＦサイズ取得工程と、
（Ｓ７）反復演算回数を計数するカウンターに１を設定する第１リセット工程と、
（Ｓ８）前記復元画像初期値の推定輝度分布を複写してこれを補正復元画像初期値の推定輝度分布と成し更に前記補正復元画像初期値の推定輝度分布をＰＳＦサイズを基にして補正する第１復元画像初期値補正工程と、
（Ｓ９）前記１連のＰＳＦの輝度分布から前記カウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布と成すＰＳＦ選定工程と、
（Ｓ１０）前記補正復元画像初期値の推定輝度分布に前記ＰＳＦの輝度分布を畳込み第１の関数を得る工程と、
（Ｓ１１）前記第１の関数を反転して第２の関数を得る工程と、
（Ｓ１２）前記第２の関数に前記劣化画像の輝度分布を掛け合わせて第３の関数を得る工程と、
（Ｓ１３）前記第３の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
（Ｓ１４）前記カウンターに１を加算する工程と、
（Ｓ１５）前記カウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１６）の工程へ進むが、前記検証結果が真であれば、工程（Ｓ１８）へ進む工程と、
（Ｓ１６）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える工程と、
（Ｓ１７）（Ｓ８）の工程へ戻る工程と、
（Ｓ１８）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、
（Ｓ１９）前記（Ｓ１）〜（Ｓ７）の工程から構成される準備工程と、
（Ｓ２０）前記（Ｓ８）〜（Ｓ１８）の工程から構成される第１画像復元工程と
を備え、
（Ｓ２１）前記準備工程Ｓ１９及び前記第１画像復元工程Ｓ２０において、工程のＳの添え数字が小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１加速超解像処理工程と、
（Ｓ２２）前記最尤復元画像の輝度分布を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号として出力するＴＶ映像化工程と
を備える事に特徴が有るＴＶ映像向け加速超解像処理方法。
（Ｓ１）最大反復演算回数を設定する工程と、
（Ｓ２）前記ＴＶ映像を見ながら前記ＴＶ映像の劣化状況に適した劣化示数を指定する劣化示数指定工程と、
（Ｓ３）前記劣化示数に紐づいた第１番目のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の輝度分布及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布を準備するＰＳＦ準備工程と、
（Ｓ４）１フレーム分の輝度分布から成る劣化画像の輝度分布を１フレーム分のＴＶ映像信号から準備する劣化画像準備工程と、
（Ｓ５）前記劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す復元画像初期値準備工程と、
（Ｓ６）前記１連のＰＳＦの輝度分布は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズと呼ぶ時、このＰＳＦサイズを求めるＰＳＦサイズ取得工程と、
（Ｓ７）反復演算回数を計数するカウンターに１を設定する第１リセット工程と、
（Ｓ８）前記復元画像初期値の推定輝度分布を複写してこれを補正復元画像初期値の推定輝度分布と成し更に前記補正復元画像初期値の推定輝度分布をＰＳＦサイズを基にして補正する第１復元画像初期値補正工程と、
（Ｓ９）前記１連のＰＳＦの輝度分布から前記カウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布と成すＰＳＦ選定工程と、
（Ｓ１０）前記補正復元画像初期値の推定輝度分布に前記ＰＳＦの輝度分布を畳込み第１の関数を得る工程と、
（Ｓ１１）前記第１の関数を反転して第２の関数を得る工程と、
（Ｓ１２）前記第２の関数に前記劣化画像の輝度分布を掛け合わせて第３の関数を得る工程と、
（Ｓ１３）前記第３の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
（Ｓ１４）前記カウンターに１を加算する工程と、
（Ｓ１５）前記カウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１６）の工程へ進むが、前記検証結果が真であれば、工程（Ｓ１８）へ進む工程と、
（Ｓ１６）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える工程と、
（Ｓ１７）（Ｓ８）の工程へ戻る工程と、
（Ｓ１８）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、
（Ｓ１９）前記（Ｓ１）〜（Ｓ７）の工程から構成される準備工程と、
（Ｓ２０）前記（Ｓ８）〜（Ｓ１８）の工程から構成される第１画像復元工程と
を備え、
（Ｓ２１）前記準備工程Ｓ１９及び前記第１画像復元工程Ｓ２０において、工程のＳの添え数字が小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１加速超解像処理工程と、
（Ｓ２２）前記最尤復元画像の輝度分布を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号として出力するＴＶ映像化工程と
を備える事に特徴が有るＴＶ映像向け加速超解像処理方法。
【請求項2】
前記ＰＳＦ準備工程の第２の態様は、
（Ｓ３０）前記劣化示数を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベースを検索し、ヒットしたＰＳＦの輝度分布を第１番目のＰＳＦの輝度分布と成す工程と、
（Ｓ３１）数を計数する第２カウンターに１を入力してリセットする工程と、
（Ｓ３２）前記第１番目のＰＳＦの輝度分布をＰＳＦ初期値の輝度分布と成す工程と、
（Ｓ３３）前記第２カウンターに１を加算する工程と、
（Ｓ３４）前記第２カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ３５）の工程へ進み、もしも検証結果が真で有れば（Ｓ３８）の工程へジャンプする工程と、
（Ｓ３５）ＰＳＦ初期値の輝度分布をＰＳＦ復元工程により復元する事により最尤復元ＰＳＦの輝度分布を得る工程と、
（Ｓ３６）前記第２カウンターの値をｎとする時、前記最尤復元ＰＳＦの輝度分布を第ｎ番目のＰＳＦの輝度分布と成す工程と、
（Ｓ３７）（Ｓ３３）の工程へ戻る工程と、
（Ｓ３８）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、前記第１番目のＰＳＦの輝度分布から前記ｎ＿ｍａｘ番目のＰＳＦの輝度分布までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に前記劣化示数をラベルとして付け、前記劣化示数に紐づいた前記１連のＰＳＦの輝度分布と成す工程と
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ３０）前記劣化示数を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベースを検索し、ヒットしたＰＳＦの輝度分布を第１番目のＰＳＦの輝度分布と成す工程と、
（Ｓ３１）数を計数する第２カウンターに１を入力してリセットする工程と、
（Ｓ３２）前記第１番目のＰＳＦの輝度分布をＰＳＦ初期値の輝度分布と成す工程と、
（Ｓ３３）前記第２カウンターに１を加算する工程と、
（Ｓ３４）前記第２カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ３５）の工程へ進み、もしも検証結果が真で有れば（Ｓ３８）の工程へジャンプする工程と、
（Ｓ３５）ＰＳＦ初期値の輝度分布をＰＳＦ復元工程により復元する事により最尤復元ＰＳＦの輝度分布を得る工程と、
（Ｓ３６）前記第２カウンターの値をｎとする時、前記最尤復元ＰＳＦの輝度分布を第ｎ番目のＰＳＦの輝度分布と成す工程と、
（Ｓ３７）（Ｓ３３）の工程へ戻る工程と、
（Ｓ３８）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、前記第１番目のＰＳＦの輝度分布から前記ｎ＿ｍａｘ番目のＰＳＦの輝度分布までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に前記劣化示数をラベルとして付け、前記劣化示数に紐づいた前記１連のＰＳＦの輝度分布と成す工程と
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
【請求項3】
前記ＰＳＦ準備工程の第３の態様は、
（Ｓ４０）前記最大反復演算回数を５に設定する工程と、
（Ｓ４１）前記ＰＳＦデータベース内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前に前記ＰＳＦ準備工程を実行して、前記劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の前記劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベースを準備する工程と、
（Ｓ４２）前記劣化示数を用いて前記拡大ＰＳＦデータベースを検索しヒットした１連のＰＳＦの輝度分布を取得しこれを出力する工程と
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ４０）前記最大反復演算回数を５に設定する工程と、
（Ｓ４１）前記ＰＳＦデータベース内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前に前記ＰＳＦ準備工程を実行して、前記劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の前記劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベースを準備する工程と、
（Ｓ４２）前記劣化示数を用いて前記拡大ＰＳＦデータベースを検索しヒットした１連のＰＳＦの輝度分布を取得しこれを出力する工程と
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
【請求項4】
前記ＰＳＦ復元工程は、
（Ｓ５０）前記最大反復演算回数に６を代入する工程と、
（Ｓ５１）前記ＰＳＦ初期値の輝度分布を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布と成す工程と、
（Ｓ５２）前記ＰＳＦ初期値の輝度分布を復元ＰＳＦ初期値の推定輝度分布と成す工程と、
（Ｓ５３）前記カウンターに１を代入してリセットする工程と、
（Ｓ５４）前記復元ＰＳＦ初期値の推定輝度分布を補正復元ＰＳＦ初期値の推定輝度分布と成し、更に前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み演算する際に前記補正復元ＰＳＦ初期値の推定輝度分布の周辺部に発生する演算困難領域を、前記ＰＳＦ初期値の輝度分布の画像サイズを基にして計算し、上辺境界に関する前記演算困難領域の画素をコピーし、このコピーした画素を前記補正復元ＰＳＦ初期値の推定輝度分布の上辺境界の外側に、前記上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、前記補正復元ＰＳＦ初期値の推定輝度分布を補正する復元ＰＳＦ初期値補正工程と、
（Ｓ５５）前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み第４の関数を得る工程と、
（Ｓ５６）前記第４の関数を反転して第５の関数を得る工程と、
（Ｓ５７）前記第５の関数を前記劣化ＰＳＦの輝度分布に掛け合わせて第６の関数を得る工程と、
（Ｓ５８）前記第６の関数を前記復元ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、
（Ｓ５９）前記カウンターに１を加算する工程と、
（Ｓ６０）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ６１）の工程へ進み、もしも検証結果が真で有れば、（Ｓ６３）の工程へジャンプする工程と、
（Ｓ６１）前記復元ＰＳＦの推定輝度分布を前記復元ＰＳＦ初期値の推定輝度分布と入れ替える工程と、
（Ｓ６２）（Ｓ５４）の工程へジャンプする工程と、
（Ｓ６３）前記復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する工程と
を備える事に特徴が有る請求項２に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ５０）前記最大反復演算回数に６を代入する工程と、
（Ｓ５１）前記ＰＳＦ初期値の輝度分布を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布と成す工程と、
（Ｓ５２）前記ＰＳＦ初期値の輝度分布を復元ＰＳＦ初期値の推定輝度分布と成す工程と、
（Ｓ５３）前記カウンターに１を代入してリセットする工程と、
（Ｓ５４）前記復元ＰＳＦ初期値の推定輝度分布を補正復元ＰＳＦ初期値の推定輝度分布と成し、更に前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み演算する際に前記補正復元ＰＳＦ初期値の推定輝度分布の周辺部に発生する演算困難領域を、前記ＰＳＦ初期値の輝度分布の画像サイズを基にして計算し、上辺境界に関する前記演算困難領域の画素をコピーし、このコピーした画素を前記補正復元ＰＳＦ初期値の推定輝度分布の上辺境界の外側に、前記上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、前記補正復元ＰＳＦ初期値の推定輝度分布を補正する復元ＰＳＦ初期値補正工程と、
（Ｓ５５）前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み第４の関数を得る工程と、
（Ｓ５６）前記第４の関数を反転して第５の関数を得る工程と、
（Ｓ５７）前記第５の関数を前記劣化ＰＳＦの輝度分布に掛け合わせて第６の関数を得る工程と、
（Ｓ５８）前記第６の関数を前記復元ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、
（Ｓ５９）前記カウンターに１を加算する工程と、
（Ｓ６０）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ６１）の工程へ進み、もしも検証結果が真で有れば、（Ｓ６３）の工程へジャンプする工程と、
（Ｓ６１）前記復元ＰＳＦの推定輝度分布を前記復元ＰＳＦ初期値の推定輝度分布と入れ替える工程と、
（Ｓ６２）（Ｓ５４）の工程へジャンプする工程と、
（Ｓ６３）前記復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する工程と
を備える事に特徴が有る請求項２に記載のＴＶ映像向け加速超解像処理方法。
【請求項5】
前記第１復元画像初期値補正工程は、
（Ｓ７０）前記復元画像初期値の推定輝度分布を補正復元画像初期値の推定輝度分布と成す工程と、
（Ｓ７１）前記ＰＳＦサイズを基に前記１連のＰＳＦの輝度分布の内いずれか１つを前記補正復元画像初期値の推定輝度分布に畳込み演算する際に前記補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を計算する工程と、
（Ｓ７２）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の画素をコピーし、このコピーした画素を前記補正復元画像初期値の推定輝度分布の４辺に対してミラー対称に成る様にそれぞれ反転させ更に前記補正復元画像初期値の推定輝度分布の４辺の境界の外側に配置する様にペーストして補正する工程と、
（Ｓ７３）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左上隅部に発生する空白領域に、ペーストして補正する工程と、
（Ｓ７４）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右上隅部に発生する空白領域に、ペーストして補正する工程と、
（Ｓ７５）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左下隅部に発生する空白領域に、ペーストして補正する工程と、
（Ｓ７６）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右下隅部に発生する空白領域に、ペーストして補正する工程と
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ７０）前記復元画像初期値の推定輝度分布を補正復元画像初期値の推定輝度分布と成す工程と、
（Ｓ７１）前記ＰＳＦサイズを基に前記１連のＰＳＦの輝度分布の内いずれか１つを前記補正復元画像初期値の推定輝度分布に畳込み演算する際に前記補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を計算する工程と、
（Ｓ７２）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の画素をコピーし、このコピーした画素を前記補正復元画像初期値の推定輝度分布の４辺に対してミラー対称に成る様にそれぞれ反転させ更に前記補正復元画像初期値の推定輝度分布の４辺の境界の外側に配置する様にペーストして補正する工程と、
（Ｓ７３）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左上隅部に発生する空白領域に、ペーストして補正する工程と、
（Ｓ７４）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右上隅部に発生する空白領域に、ペーストして補正する工程と、
（Ｓ７５）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左下隅部に発生する空白領域に、ペーストして補正する工程と、
（Ｓ７６）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右下隅部に発生する空白領域に、ペーストして補正する工程と
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
【請求項6】
前記第１画像復元工程の第２の態様は、
（Ｓ８０）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布うち、第ｎ番目のＰＳＦの輝度分布をＰＳＦの輝度分布として第ｎ段目の第１単分画像復元工程に提供するＰＳＦ提供工程と、
（Ｓ８１）前記ＰＳＦの輝度分布、前記復元画像初期値の推定輝度分布及び前記劣化画像の輝度分布から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、前記劣化画像の輝度分布に最も尤らしい復元画像の推定輝度分布を求めこれを出力する第１単分画像復元工程と
を備え、
この第１単分画像復元工程Ｓ８１は、
（Ｓ８２）前記ＰＳＦサイズに基づき前記復元画像初期値の推定輝度分布を補正して補正復元画像初期値の推定輝度分布を求める前記第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程と、
（Ｓ８３）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第７の関数を得る工程と、
（Ｓ８４）前記第７の関数を反転して第８の関数を得る工程と、
（Ｓ８５）前記第８の関数を前記劣化画像の輝度分布に掛け合わせて第９の関数を得る工程と、
（Ｓ８６）前記第９の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
（Ｓ８７）前記復元画像の推定輝度分布を出力する工程と
を備え、
（Ｓ８８）第ｎ段目の第１単分画像復元工程Ｓ８１−ｎの（Ｓ８７）の工程の出力を第（ｎ＋１）段目の第１単分画像復元工程Ｓ８１−（ｎ＋１）の（Ｓ８２）の工程に接続する事により構成される前記ｎ＿ｍａｘ段の直列連結体から成る第２画像復元工程であり、この第２画像復元工程Ｓ８８において、直列接続された第１単分画像復元工程Ｓ８１の数である前記ｎ＿ｍａｘ回の反復演算を行い、前記ｎ＿ｍａｘ段目の第１単分画像復元工程Ｓ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ８０）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布うち、第ｎ番目のＰＳＦの輝度分布をＰＳＦの輝度分布として第ｎ段目の第１単分画像復元工程に提供するＰＳＦ提供工程と、
（Ｓ８１）前記ＰＳＦの輝度分布、前記復元画像初期値の推定輝度分布及び前記劣化画像の輝度分布から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、前記劣化画像の輝度分布に最も尤らしい復元画像の推定輝度分布を求めこれを出力する第１単分画像復元工程と
を備え、
この第１単分画像復元工程Ｓ８１は、
（Ｓ８２）前記ＰＳＦサイズに基づき前記復元画像初期値の推定輝度分布を補正して補正復元画像初期値の推定輝度分布を求める前記第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程と、
（Ｓ８３）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第７の関数を得る工程と、
（Ｓ８４）前記第７の関数を反転して第８の関数を得る工程と、
（Ｓ８５）前記第８の関数を前記劣化画像の輝度分布に掛け合わせて第９の関数を得る工程と、
（Ｓ８６）前記第９の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
（Ｓ８７）前記復元画像の推定輝度分布を出力する工程と
を備え、
（Ｓ８８）第ｎ段目の第１単分画像復元工程Ｓ８１−ｎの（Ｓ８７）の工程の出力を第（ｎ＋１）段目の第１単分画像復元工程Ｓ８１−（ｎ＋１）の（Ｓ８２）の工程に接続する事により構成される前記ｎ＿ｍａｘ段の直列連結体から成る第２画像復元工程であり、この第２画像復元工程Ｓ８８において、直列接続された第１単分画像復元工程Ｓ８１の数である前記ｎ＿ｍａｘ回の反復演算を行い、前記ｎ＿ｍａｘ段目の第１単分画像復元工程Ｓ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
【請求項7】
前記第１画像復元工程の第３の態様は、
（Ｓ９０）前記カウンターに０を代入する事によりリセットする工程と、
（Ｓ９１）第２カウンターに１を代入する事によりリセットする工程と、
（Ｓ９２）前記カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ９３）の工程へ進み、もしも検証結果が真であれば（Ｓ９６）の工程へジャンプする工程と、
（Ｓ９３）前記劣化画像の輝度分布を劣化画像保存用バッファー及び復元画像初期値用バッファーに転送する工程と、
（Ｓ９４）（Ｓ９６）の工程へジャンプする工程と、
（Ｓ９５）（Ｓ１０２）の工程の復元画像の推定輝度分布を前記復元画像初期値用バッファーに転送する工程と、
（Ｓ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布と成す工程と、
（Ｓ９７）前記復元画像初期値用バッファーから復元画像初期値の推定輝度分布を読込む工程と、
（Ｓ９８）前記ＰＳＦサイズに基づき前記復元画像初期値の推定輝度分布を補正しこれを補正復元画像初期値の推定輝度分布と成す前記第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程と、
（Ｓ９９）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１０の関数を得る工程と、
（Ｓ１００）前記第１０の関数を反転して第１１の関数を得る工程と、
（Ｓ１０１）前記劣化画像の輝度分布を前記劣化画像保存用バッファーから読込これに前記第１１の関数を掛け合わせて第１２の関数を得る工程と、
（Ｓ１０２）前記第１２の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
（Ｓ１０３）前記カウンターに１を加算する工程と、
（Ｓ１０４）前記第２カウンターに１を加算する工程と、
（Ｓ１０５）前記カウンターの値が前記最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ９５）の工程へジャンプし、もしも検証結果が真であれば（Ｓ１０６）の工程へ進む工程と、
（Ｓ１０６）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と
を備え、
（Ｓ１０７）各工程のＳの添え数字の小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元工程である事に特徴が有る請求項１に記載のＴＶ映像向け超解像処理方法。
（Ｓ９０）前記カウンターに０を代入する事によりリセットする工程と、
（Ｓ９１）第２カウンターに１を代入する事によりリセットする工程と、
（Ｓ９２）前記カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ９３）の工程へ進み、もしも検証結果が真であれば（Ｓ９６）の工程へジャンプする工程と、
（Ｓ９３）前記劣化画像の輝度分布を劣化画像保存用バッファー及び復元画像初期値用バッファーに転送する工程と、
（Ｓ９４）（Ｓ９６）の工程へジャンプする工程と、
（Ｓ９５）（Ｓ１０２）の工程の復元画像の推定輝度分布を前記復元画像初期値用バッファーに転送する工程と、
（Ｓ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布と成す工程と、
（Ｓ９７）前記復元画像初期値用バッファーから復元画像初期値の推定輝度分布を読込む工程と、
（Ｓ９８）前記ＰＳＦサイズに基づき前記復元画像初期値の推定輝度分布を補正しこれを補正復元画像初期値の推定輝度分布と成す前記第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程と、
（Ｓ９９）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１０の関数を得る工程と、
（Ｓ１００）前記第１０の関数を反転して第１１の関数を得る工程と、
（Ｓ１０１）前記劣化画像の輝度分布を前記劣化画像保存用バッファーから読込これに前記第１１の関数を掛け合わせて第１２の関数を得る工程と、
（Ｓ１０２）前記第１２の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
（Ｓ１０３）前記カウンターに１を加算する工程と、
（Ｓ１０４）前記第２カウンターに１を加算する工程と、
（Ｓ１０５）前記カウンターの値が前記最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ９５）の工程へジャンプし、もしも検証結果が真であれば（Ｓ１０６）の工程へ進む工程と、
（Ｓ１０６）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と
を備え、
（Ｓ１０７）各工程のＳの添え数字の小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元工程である事に特徴が有る請求項１に記載のＴＶ映像向け超解像処理方法。
【請求項8】
前記劣化画像準備工程は、
（Ｓ１１０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出工程と、
（Ｓ１１１）前記１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延工程と、
（Ｓ１１２）前記ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換工程と、
（Ｓ１１３）前記ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出工程と、
（Ｓ１１４）前記Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理工程と、
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ１１０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出工程と、
（Ｓ１１１）前記１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延工程と、
（Ｓ１１２）前記ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換工程と、
（Ｓ１１３）前記ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出工程と、
（Ｓ１１４）前記Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理工程と、
を備える事に特徴が有る請求項１に記載のＴＶ映像向け加速超解像処理方法。
【請求項9】
前記ＴＶ映像化工程は、
（Ｓ１２０）前記最尤復元画像の輝度分布のガンマ処理を行うガンマ処理工程と、
（Ｓ１２１）前記Ｙ劣化画像抽出工程で保持した前記Ｕ劣化画像の分布及び前記Ｖ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成工程と、
（Ｓ１２２）前記ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換工程と、
（Ｓ１２３）前記ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換工程と、
（Ｓ１２４）前記ＲＧＢ信号を前記遅延工程が出力する前記残りのＴＶ映像信号と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成工程と
を備える事に特徴が有る請求項８に記載のＴＶ映像向け加速超解像処理方法。
（Ｓ１２０）前記最尤復元画像の輝度分布のガンマ処理を行うガンマ処理工程と、
（Ｓ１２１）前記Ｙ劣化画像抽出工程で保持した前記Ｕ劣化画像の分布及び前記Ｖ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成工程と、
（Ｓ１２２）前記ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換工程と、
（Ｓ１２３）前記ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換工程と、
（Ｓ１２４）前記ＲＧＢ信号を前記遅延工程が出力する前記残りのＴＶ映像信号と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成工程と
を備える事に特徴が有る請求項８に記載のＴＶ映像向け加速超解像処理方法。
【請求項10】
請求項１〜７に記載されたＰＳＦの輝度分布は、縁の無い正方形状の同一サイズの画素から成るものであって、その輝度分布は中心が最も明るい２次元正規分布であり、そのサイズが５ｘ５画素である事に特徴が有るＴＶ映像向け加速超解像処理方法。
【請求項11】
請求項１に記載された準備工程及び第１画像復元工程をコンピュータに実行させるための第１加速超解像処理プログラム。
【請求項12】
請求項１に記載された準備工程及び請求項６に記載された第２画像復元工程をコンピュータに実行させるための第２加速超解像処理プログラム。
【請求項13】
請求項１に記載された準備工程及び請求項７に記載された第３画像復元工程をコンピュータに実行させるための第３加速超解像処理プログラム。
【請求項14】
コンピュータに接続可能な第１記憶媒体であって、請求項１１に記載の第１加速超解像処理プログラムと、請求項１２に記載の第２加速超解像処理プログラムと、請求項１３に記載の第３加速超解像処理プログラムとを暗号化された形態で記憶すると共に、これ等暗号化された前記第１加速超解像処理プログラム、前記第２加速超解像処理プログラム及び前記第３加速超解像処理プログラムを、前記コンピュータに読み込ませる事が可能な事に特徴がある第１記憶媒体。
【請求項15】
請求項１〜５、８〜１０に記載されたＴＶ映像向け加速超解像処理方法に従い、１フレーム分のＴＶ映像信号に含まれるフレームから光学的劣化を低減して劣化前の１フレーム分のＴＶ映像信号を復元するＴＶ映像向け加速超解像処理装置であって、
（Ｗ１）最大反復演算回数を設定する手段と、
（Ｗ２）前記ＴＶ映像を見ながら前記ＴＶ映像の劣化状況に適した劣化示数を指定する劣化示数指定手段と、
（Ｗ３）前記劣化示数に紐づいた第１番目のＰＳＦの輝度分布及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布を準備するＰＳＦ準備手段と、
（Ｗ４）１フレーム分の輝度分布から成る劣化画像の輝度分布を１フレーム分のＴＶ映像信号から準備する劣化画像準備手段と、
（Ｗ５）前記劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す復元画像初期値準備手段と、
（Ｗ６）前記１連のＰＳＦの輝度分布は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズと呼ぶ時、このＰＳＦサイズを求めるＰＳＦサイズ取得手段と、
（Ｗ７）反復演算回数を計数するカウンターに１を設定する第１リセット手段と、
（Ｗ８）前記復元画像初期値の推定輝度分布を複写してこれを補正復元画像初期値の推定輝度分布と成し更に前記補正復元画像初期値の推定輝度分布をＰＳＦサイズを基にして補正する第１復元画像初期値補正手段と、
（Ｗ９）前記１連のＰＳＦの輝度分布から前記カウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布と成すＰＳＦ選定手段と、
（Ｗ１０）前記補正復元画像初期値の推定輝度分布に前記ＰＳＦの輝度分布を畳込み第１３の関数を得る手段と、
（Ｗ１１）前記第１３の関数を反転して第１４の関数を得る手段と、
（Ｗ１２）前記第１４の関数に前記劣化画像の輝度分布を掛け合わせて第１５の関数を得る手段と、
（Ｗ１３）前記第１５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
（Ｗ１４）前記カウンターに１を加算する手段と、
（Ｗ１５）前記カウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１６）の手段へ進むが、前記検証結果が真であれば、手段（Ｗ１８）へ進む手段と、
（Ｗ１６）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える手段と、
（Ｗ１７）（Ｗ８）の手段へ戻る手段と、
（Ｗ１８）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、
（Ｗ１９）前記（Ｗ１）〜（Ｗ７）の手段から構成される準備手段と、
（Ｗ２０）前記（Ｗ８）〜（Ｗ１８）の手段から構成される第１画像復元手段と
を備え、
（Ｗ２１）前記準備手段Ｗ１９及び前記第１画像復元手段Ｗ２０において、手段のＷの添え数字が小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１加速超解像処理手段と、
（Ｗ２２）前記最尤復元画像の輝度分布を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号として出力するＴＶ映像化手段と
を備える事に特徴が有るＴＶ映像向け加速超解像処理装置。
（Ｗ１）最大反復演算回数を設定する手段と、
（Ｗ２）前記ＴＶ映像を見ながら前記ＴＶ映像の劣化状況に適した劣化示数を指定する劣化示数指定手段と、
（Ｗ３）前記劣化示数に紐づいた第１番目のＰＳＦの輝度分布及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布を準備するＰＳＦ準備手段と、
（Ｗ４）１フレーム分の輝度分布から成る劣化画像の輝度分布を１フレーム分のＴＶ映像信号から準備する劣化画像準備手段と、
（Ｗ５）前記劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す復元画像初期値準備手段と、
（Ｗ６）前記１連のＰＳＦの輝度分布は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズと呼ぶ時、このＰＳＦサイズを求めるＰＳＦサイズ取得手段と、
（Ｗ７）反復演算回数を計数するカウンターに１を設定する第１リセット手段と、
（Ｗ８）前記復元画像初期値の推定輝度分布を複写してこれを補正復元画像初期値の推定輝度分布と成し更に前記補正復元画像初期値の推定輝度分布をＰＳＦサイズを基にして補正する第１復元画像初期値補正手段と、
（Ｗ９）前記１連のＰＳＦの輝度分布から前記カウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布と成すＰＳＦ選定手段と、
（Ｗ１０）前記補正復元画像初期値の推定輝度分布に前記ＰＳＦの輝度分布を畳込み第１３の関数を得る手段と、
（Ｗ１１）前記第１３の関数を反転して第１４の関数を得る手段と、
（Ｗ１２）前記第１４の関数に前記劣化画像の輝度分布を掛け合わせて第１５の関数を得る手段と、
（Ｗ１３）前記第１５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
（Ｗ１４）前記カウンターに１を加算する手段と、
（Ｗ１５）前記カウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１６）の手段へ進むが、前記検証結果が真であれば、手段（Ｗ１８）へ進む手段と、
（Ｗ１６）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える手段と、
（Ｗ１７）（Ｗ８）の手段へ戻る手段と、
（Ｗ１８）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、
（Ｗ１９）前記（Ｗ１）〜（Ｗ７）の手段から構成される準備手段と、
（Ｗ２０）前記（Ｗ８）〜（Ｗ１８）の手段から構成される第１画像復元手段と
を備え、
（Ｗ２１）前記準備手段Ｗ１９及び前記第１画像復元手段Ｗ２０において、手段のＷの添え数字が小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１加速超解像処理手段と、
（Ｗ２２）前記最尤復元画像の輝度分布を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号として出力するＴＶ映像化手段と
を備える事に特徴が有るＴＶ映像向け加速超解像処理装置。
【請求項16】
前記ＰＳＦ準備手段の第２の態様は、
（Ｗ３０）前記劣化示数を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベースを検索し、ヒットしたＰＳＦの輝度分布を第１番目のＰＳＦの輝度分布と成す手段と、
（Ｗ３１）数を計数する第２カウンターに１を入力してリセットする手段と、
（Ｗ３２）前記第１番目のＰＳＦの輝度分布をＰＳＦ初期値の輝度分布と成す手段と、
（Ｗ３３）前記第２カウンターに１を加算する手段と、
（Ｗ３４）前記第２カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ３５）の手段へ進み、もしも検証結果が真で有れば（Ｗ３８）の手段へジャンプする手段と、
（Ｗ３５）ＰＳＦ初期値の輝度分布をＰＳＦ復元手段により復元する事により最尤復元ＰＳＦの輝度分布を得る手段と、
（Ｗ３６）前記第２カウンターの値をｎとする時、前記最尤復元ＰＳＦの輝度分布を第ｎ番目のＰＳＦの輝度分布と成す手段と、
（Ｗ３７）（Ｗ３３）の手段へ戻る手段と、
（Ｗ３８）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、前記第１番目のＰＳＦの輝度分布から前記ｎ＿ｍａｘ番目のＰＳＦの輝度分布までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に前記劣化示数をラベルとして付け、前記劣化示数に紐づいた前記１連のＰＳＦの輝度分布と成す手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ３０）前記劣化示数を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベースを検索し、ヒットしたＰＳＦの輝度分布を第１番目のＰＳＦの輝度分布と成す手段と、
（Ｗ３１）数を計数する第２カウンターに１を入力してリセットする手段と、
（Ｗ３２）前記第１番目のＰＳＦの輝度分布をＰＳＦ初期値の輝度分布と成す手段と、
（Ｗ３３）前記第２カウンターに１を加算する手段と、
（Ｗ３４）前記第２カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ３５）の手段へ進み、もしも検証結果が真で有れば（Ｗ３８）の手段へジャンプする手段と、
（Ｗ３５）ＰＳＦ初期値の輝度分布をＰＳＦ復元手段により復元する事により最尤復元ＰＳＦの輝度分布を得る手段と、
（Ｗ３６）前記第２カウンターの値をｎとする時、前記最尤復元ＰＳＦの輝度分布を第ｎ番目のＰＳＦの輝度分布と成す手段と、
（Ｗ３７）（Ｗ３３）の手段へ戻る手段と、
（Ｗ３８）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、前記第１番目のＰＳＦの輝度分布から前記ｎ＿ｍａｘ番目のＰＳＦの輝度分布までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に前記劣化示数をラベルとして付け、前記劣化示数に紐づいた前記１連のＰＳＦの輝度分布と成す手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
【請求項17】
前記ＰＳＦ準備手段の第３の態様は、
（Ｗ４０）前記最大反復演算回数を５に設定する手段と、
（Ｗ４１）前記ＰＳＦデータベース内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前に前記ＰＳＦ準備手段を実行して、前記劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の前記劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベースを準備する手段と、
（Ｗ４２）前記劣化示数を用いて前記拡大ＰＳＦデータベースを検索しヒットした１連のＰＳＦの輝度分布を取得しこれを出力する手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ４０）前記最大反復演算回数を５に設定する手段と、
（Ｗ４１）前記ＰＳＦデータベース内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前に前記ＰＳＦ準備手段を実行して、前記劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の前記劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベースを準備する手段と、
（Ｗ４２）前記劣化示数を用いて前記拡大ＰＳＦデータベースを検索しヒットした１連のＰＳＦの輝度分布を取得しこれを出力する手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
【請求項18】
前記ＰＳＦ復元手段は、
（Ｗ５０）前記最大反復演算回数に６を代入する手段と、
（Ｗ５１）前記ＰＳＦ初期値の輝度分布を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布と成す手段と、
（Ｗ５２）前記ＰＳＦ初期値の輝度分布を復元ＰＳＦ初期値の推定輝度分布と成す手段と、
（Ｗ５３）前記カウンターに１を代入してリセットする手段と、
（Ｗ５４）前記復元ＰＳＦ初期値の推定輝度分布を補正復元ＰＳＦ初期値の推定輝度分布と成し、更に前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み演算する際に前記補正復元ＰＳＦ初期値の推定輝度分布の周辺部に発生する演算困難領域を、前記ＰＳＦ初期値の輝度分布の画像サイズを基にして計算し、上辺境界に関する前記演算困難領域の画素をコピーし、このコピーした画素を前記補正復元ＰＳＦ初期値の推定輝度分布の上辺境界の外側に上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、前記補正復元ＰＳＦ初期値の推定輝度分布を補正する復元ＰＳＦ初期値補正手段と、
（Ｗ５５）前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み第１６の関数を得る手段と、
（Ｗ５６）前記第１６の関数を反転して第１７の関数を得る手段と、
（Ｗ５７）前記第１７の関数を前記劣化ＰＳＦの輝度分布に掛け合わせて第１８の関数を得る手段と、
（Ｗ５８）前記第１８の関数を前記復元ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、
（Ｗ５９）前記カウンターに１を加算する手段と、
（Ｗ６０）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ６１）の手段へ進み、もしも検証結果が真で有れば、（Ｗ６３）の手段へジャンプする手段と、
（Ｗ６１）前記復元ＰＳＦの推定輝度分布を復元ＰＳＦ初期値の推定輝度分布と入れ替える手段と、
（Ｗ６２）（Ｗ５４）の手段へジャンプする手段と、
（Ｗ６３）前記復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する手段と
を備える事に特徴が有る請求項１６に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ５０）前記最大反復演算回数に６を代入する手段と、
（Ｗ５１）前記ＰＳＦ初期値の輝度分布を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布と成す手段と、
（Ｗ５２）前記ＰＳＦ初期値の輝度分布を復元ＰＳＦ初期値の推定輝度分布と成す手段と、
（Ｗ５３）前記カウンターに１を代入してリセットする手段と、
（Ｗ５４）前記復元ＰＳＦ初期値の推定輝度分布を補正復元ＰＳＦ初期値の推定輝度分布と成し、更に前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み演算する際に前記補正復元ＰＳＦ初期値の推定輝度分布の周辺部に発生する演算困難領域を、前記ＰＳＦ初期値の輝度分布の画像サイズを基にして計算し、上辺境界に関する前記演算困難領域の画素をコピーし、このコピーした画素を前記補正復元ＰＳＦ初期値の推定輝度分布の上辺境界の外側に上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、前記補正復元ＰＳＦ初期値の推定輝度分布を補正する復元ＰＳＦ初期値補正手段と、
（Ｗ５５）前記ＰＳＦ初期値の輝度分布を前記補正復元ＰＳＦ初期値の推定輝度分布に畳込み第１６の関数を得る手段と、
（Ｗ５６）前記第１６の関数を反転して第１７の関数を得る手段と、
（Ｗ５７）前記第１７の関数を前記劣化ＰＳＦの輝度分布に掛け合わせて第１８の関数を得る手段と、
（Ｗ５８）前記第１８の関数を前記復元ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、
（Ｗ５９）前記カウンターに１を加算する手段と、
（Ｗ６０）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ６１）の手段へ進み、もしも検証結果が真で有れば、（Ｗ６３）の手段へジャンプする手段と、
（Ｗ６１）前記復元ＰＳＦの推定輝度分布を復元ＰＳＦ初期値の推定輝度分布と入れ替える手段と、
（Ｗ６２）（Ｗ５４）の手段へジャンプする手段と、
（Ｗ６３）前記復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する手段と
を備える事に特徴が有る請求項１６に記載のＴＶ映像向け加速超解像処理装置。
【請求項19】
前記第１復元画像初期値補正手段は、
（Ｗ７０）前記復元画像初期値の推定輝度分布を補正復元画像初期値の推定輝度分布と成す手段と、
（Ｗ７１）前記ＰＳＦサイズを基に前記１連のＰＳＦの輝度分布の内いずれか１つを前記補正復元画像初期値の推定輝度分布に畳込み演算する際に前記補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を計算する手段と、
（Ｗ７２）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の画素をコピーし、このコピーした画素を前記補正復元画像初期値の推定輝度分布の４辺に対してミラー対称に成る様にそれぞれ反転させ更に前記補正復元画像初期値の推定輝度分布の４辺の境界の外側に配置する様にペーストして補正する手段と、
（Ｗ７３）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左上隅部に発生する空白領域に、ペーストして補正する手段と、
（Ｗ７４）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右上隅部に発生する空白領域に、ペーストして補正する手段と、
（Ｗ７５）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左下隅部に発生する空白領域に、ペーストして補正する手段と、
（Ｗ７６）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右下隅部に発生する空白領域に、ペーストして補正する手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ７０）前記復元画像初期値の推定輝度分布を補正復元画像初期値の推定輝度分布と成す手段と、
（Ｗ７１）前記ＰＳＦサイズを基に前記１連のＰＳＦの輝度分布の内いずれか１つを前記補正復元画像初期値の推定輝度分布に畳込み演算する際に前記補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を計算する手段と、
（Ｗ７２）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の画素をコピーし、このコピーした画素を前記補正復元画像初期値の推定輝度分布の４辺に対してミラー対称に成る様にそれぞれ反転させ更に前記補正復元画像初期値の推定輝度分布の４辺の境界の外側に配置する様にペーストして補正する手段と、
（Ｗ７３）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左上隅部に発生する空白領域に、ペーストして補正する手段と、
（Ｗ７４）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右上隅部に発生する空白領域に、ペーストして補正する手段と、
（Ｗ７５）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を前記左上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の左下隅部に発生する空白領域に、ペーストして補正する手段と、
（Ｗ７６）前記補正復元画像初期値の推定輝度分布の前記演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を前記右上隅の頂点を回転中心として１８０度回転させ、前記補正復元画像初期値の推定輝度分布の右下隅部に発生する空白領域に、ペーストして補正する手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
【請求項20】
前記第１画像復元手段の第２の態様は、
（Ｗ８０）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布うち、第ｎ番目のＰＳＦの輝度分布をＰＳＦの輝度分布として第ｎ段目の第１単分画像復元手段に提供するＰＳＦ提供手段と、
（Ｗ８１）前記ＰＳＦの輝度分布、前記復元画像初期値の推定輝度分布及び前記劣化画像の輝度分布から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、前記劣化画像の輝度分布に最も尤らしい復元画像の推定輝度分布を求めこれを出力する第１単分画像復元手段と
を備え、
この第１単分画像復元手段は、
（Ｗ８２）第１復元画像初期値補正手段と同じ構成から成る第２復元画像初期値補正手段により補正復元画像初期値の推定輝度分布を求める手段と、
（Ｗ８３）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１９の関数を得る手段と、
（Ｗ８４）前記第１９の関数を反転して第２０の関数を得る手段と、
（Ｗ８５）前記第２０の関数を前記劣化画像の輝度分布に掛け合わせて第２１の関数を得る手段と、
（Ｗ８６）前記第２１の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
（Ｗ８７）前記復元画像の推定輝度分布を出力する手段と
を備え、
（Ｗ８８）第ｎ段目の第１単分画像復元手段Ｗ８１−ｎの（Ｗ８７）の手段の出力を第（ｎ＋１）段目の第１単分画像復元手段Ｗ８１−（ｎ＋１）の（Ｗ８２）の手段に接続する事により構成される前記ｎ＿ｍａｘ段の直列連結体から成る第２画像復元手段であり、
この第２画像復元手段Ｗ８８において、直列接続された第１単分画像復元手段Ｗ８１の数である前記ｎ＿ｍａｘ回の反復演算を行い、前記ｎ＿ｍａｘ段目の第１単分画像復元手段Ｗ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ８０）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布うち、第ｎ番目のＰＳＦの輝度分布をＰＳＦの輝度分布として第ｎ段目の第１単分画像復元手段に提供するＰＳＦ提供手段と、
（Ｗ８１）前記ＰＳＦの輝度分布、前記復元画像初期値の推定輝度分布及び前記劣化画像の輝度分布から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、前記劣化画像の輝度分布に最も尤らしい復元画像の推定輝度分布を求めこれを出力する第１単分画像復元手段と
を備え、
この第１単分画像復元手段は、
（Ｗ８２）第１復元画像初期値補正手段と同じ構成から成る第２復元画像初期値補正手段により補正復元画像初期値の推定輝度分布を求める手段と、
（Ｗ８３）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１９の関数を得る手段と、
（Ｗ８４）前記第１９の関数を反転して第２０の関数を得る手段と、
（Ｗ８５）前記第２０の関数を前記劣化画像の輝度分布に掛け合わせて第２１の関数を得る手段と、
（Ｗ８６）前記第２１の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
（Ｗ８７）前記復元画像の推定輝度分布を出力する手段と
を備え、
（Ｗ８８）第ｎ段目の第１単分画像復元手段Ｗ８１−ｎの（Ｗ８７）の手段の出力を第（ｎ＋１）段目の第１単分画像復元手段Ｗ８１−（ｎ＋１）の（Ｗ８２）の手段に接続する事により構成される前記ｎ＿ｍａｘ段の直列連結体から成る第２画像復元手段であり、
この第２画像復元手段Ｗ８８において、直列接続された第１単分画像復元手段Ｗ８１の数である前記ｎ＿ｍａｘ回の反復演算を行い、前記ｎ＿ｍａｘ段目の第１単分画像復元手段Ｗ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
【請求項21】
前記第１画像復元手段の第３の態様は、
（Ｗ９０）前記カウンターに０を代入する事によりリセットする手段と、
（Ｗ９１）第２カウンターに１を代入する事によりリセットする手段と、
（Ｗ９２）前記カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ９３）の手段へ進み、もしも検証結果が真であれば（Ｗ９６）の手段へジャンプする手段と、
（Ｗ９３）前記劣化画像の輝度分布を劣化画像保存用バッファー及び復元画像初期値用バッファーに転送する手段と、
（Ｗ９４）（Ｗ９６）の手段へジャンプする手段と、
（Ｗ９５）（Ｗ１０２）の手段の復元画像の推定輝度分布を前記復元画像初期値用バッファーに転送する手段と、
（Ｗ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布と成す手段と、
（Ｗ９７）前記復元画像初期値用バッファーから復元画像初期値の推定輝度分布を読込む手段と、
（Ｗ９８）前記復元画像初期値の推定輝度分布を補正しこれを補正復元画像初期値の推定輝度分布と成す第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段と、
（Ｗ９９）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第２２の関数を得る手段と、
（Ｗ１００）前記第２２の関数を反転して第２３の関数を得る手段と、
（Ｗ１０１）前記第２３の関数を前記劣化画像の輝度分布に掛け合わせて第２４の関数を得る手段と、
（Ｗ１０２）前記第２４の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
（Ｗ１０３）前記カウンターに１を加算する手段と、
（Ｗ１０４）前記第２カウンターに１を加算する手段と、
（Ｗ１０５）前記カウンターの値が前記最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ９５）の手段へジャンプし、もしも検証結果が真であれば（Ｗ１０６）の手段へ進む手段と、
（Ｗ１０６）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と
を備え、
（Ｗ１０７）各手段のＳの添え数字の小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元手段である事に特徴が有る請求項１５に記載のＴＶ映像向け超解像処理装置。
（Ｗ９０）前記カウンターに０を代入する事によりリセットする手段と、
（Ｗ９１）第２カウンターに１を代入する事によりリセットする手段と、
（Ｗ９２）前記カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ９３）の手段へ進み、もしも検証結果が真であれば（Ｗ９６）の手段へジャンプする手段と、
（Ｗ９３）前記劣化画像の輝度分布を劣化画像保存用バッファー及び復元画像初期値用バッファーに転送する手段と、
（Ｗ９４）（Ｗ９６）の手段へジャンプする手段と、
（Ｗ９５）（Ｗ１０２）の手段の復元画像の推定輝度分布を前記復元画像初期値用バッファーに転送する手段と、
（Ｗ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布と成す手段と、
（Ｗ９７）前記復元画像初期値用バッファーから復元画像初期値の推定輝度分布を読込む手段と、
（Ｗ９８）前記復元画像初期値の推定輝度分布を補正しこれを補正復元画像初期値の推定輝度分布と成す第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段と、
（Ｗ９９）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第２２の関数を得る手段と、
（Ｗ１００）前記第２２の関数を反転して第２３の関数を得る手段と、
（Ｗ１０１）前記第２３の関数を前記劣化画像の輝度分布に掛け合わせて第２４の関数を得る手段と、
（Ｗ１０２）前記第２４の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
（Ｗ１０３）前記カウンターに１を加算する手段と、
（Ｗ１０４）前記第２カウンターに１を加算する手段と、
（Ｗ１０５）前記カウンターの値が前記最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ９５）の手段へジャンプし、もしも検証結果が真であれば（Ｗ１０６）の手段へ進む手段と、
（Ｗ１０６）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と
を備え、
（Ｗ１０７）各手段のＳの添え数字の小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元手段である事に特徴が有る請求項１５に記載のＴＶ映像向け超解像処理装置。
【請求項22】
前記劣化画像準備手段は、
（Ｗ１１０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出手段と、
（Ｗ１１１）前記１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延手段と、
（Ｗ１１２）前記ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換手段と、
（Ｗ１１３）前記ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出手段と、
（Ｗ１１４）前記Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ１１０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出手段と、
（Ｗ１１１）前記１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延手段と、
（Ｗ１１２）前記ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換手段と、
（Ｗ１１３）前記ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出手段と、
（Ｗ１１４）前記Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理手段と
を備える事に特徴が有る請求項１５に記載のＴＶ映像向け加速超解像処理装置。
【請求項23】
前記ＴＶ映像化手段は、
（Ｗ１２０）前記最尤復元画像の輝度分布のガンマ処理を行うガンマ処理手段と、
（Ｗ１２１）前記Ｙ劣化画像抽出手段で保持した前記Ｕ劣化画像の分布及び前記Ｖ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成手段と、
（Ｗ１２２）前記ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換手段と、
（Ｗ１２３）前記ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換手段と、
（Ｗ１２４）前記ＲＧＢ信号を前記遅延手段が出力する前記残りのＴＶ映像信号と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成手段と
を備える事に特徴が有る請求項２２に記載のＴＶ映像向け加速超解像処理装置。
（Ｗ１２０）前記最尤復元画像の輝度分布のガンマ処理を行うガンマ処理手段と、
（Ｗ１２１）前記Ｙ劣化画像抽出手段で保持した前記Ｕ劣化画像の分布及び前記Ｖ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成手段と、
（Ｗ１２２）前記ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換手段と、
（Ｗ１２３）前記ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換手段と、
（Ｗ１２４）前記ＲＧＢ信号を前記遅延手段が出力する前記残りのＴＶ映像信号と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成手段と
を備える事に特徴が有る請求項２２に記載のＴＶ映像向け加速超解像処理装置。
【請求項24】
請求項１５に記載された準備手段及び第１画像復元手段を構成し且つ実行させるための第４加速超解像処理プログラム。
【請求項25】
請求項１５に記載された準備手段及び請求項２０に記載された第２画像復元手段を構成し且つ実行させるための第５加速超解像処理プログラム。
【請求項26】
請求項１５に記載された準備手段及び請求項２１に記載された第３画像復元手段を構成し且つ実行させるための第６加速超解像処理プログラム。
【請求項27】
コンピュータに接続可能な第２記憶媒体であって、請求項２４に記載の第４加速超解像処理プログラムと、請求項２５に記載の第５加速超解像処理プログラムと、請求項２６に記載の前記第６加速超解像処理プログラムとを暗号化された形態で記憶すると共に、これ等の暗号化された前記第４加速超解像処理プログラム、前記第５加速超解像処理プログラム及び前記第６加速超解像処理プログラムを、前記コンピュータに読み込ませる事が可能な事に特徴が有る第２記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＴＶ映像の画像処理に関し、特にＴＶ映像に含まれる光学的なボケや滲みといった劣化情報をＢａｙｓｅ確率論に基づく数学的な演算処理によって取り除き、劣化する前のＴＶ映像を復元するためのＴＶ映像向け加速超解像処理方法及び同方法によるＴＶ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体に関する。
【背景技術】
【0002】
ＴＶ映像は１秒間に３０枚以上のフレームと呼ばれる静止画像から構成されており、各フレームはデジタル及びアナログを問わず不鮮明な程にボケてはいないものの光学的なボケや滲みといった劣化情報を含んでいるという問題がある。
【0003】
図１は実際のＴＶ映像の１フレームが含む劣化情報の１例を図示したものである。図１には、２枚の画像があり、左側の画像はＸ線ピンホールカメラのＹ（輝度）成分だけから成るＴＶ映像の１フレームであり、右側の画像は本発明者が発明した従来技術（特許文献１〜２）により、図１の左側の画像を超解像処理して劣化情報を低減したものである。図１の両画像を比較すると、実際のＴＶ映像には光学的なボケや滲みといった劣化情報が含まれている事が分かる。
【0004】
本発明者が発明した画像復元技術（特許文献１〜２）は、光学的なボケや滲みといった劣化情報を含む静止画１枚の情報からＢａｙｓｅ確率論的数式に従い反復演算を繰り返す内に、静止画の輝度分布に最も尤もらしい最尤劣化要因及び最尤復元画像即ち超解像処理後の画像を数値演算により求めるものであるが、計算に要する演算処理量が膨大なため、リアルタイム処理を必要とするＴＶ映像を扱う事は困難であるという問題があった。
【0005】
本発明者が発明した画像復元技術（特許文献１〜２）は複素数を演算対象とするために演算規模が大きく略実時間処理に向かないという問題があった。この問題を解決するために、本発明者は出願中の技術において、演算対象を複素数から実数へ変更し、更にＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いてハードウエア化する事により、略実時間処理を可能とした。しかし、ハードウエア化した際のゲート数が１５０万ゲートと大規模でコストが高く且つ実装面積が大きいという問題があった。
【0006】
他の従来のＴＶ映像向け超解像技術の１つには、ＴＶ映像を構成する複数フレーム内の同一被写体に着目して、同一被写体を位置合わせすることで、複数フレームを重ね合わせて、超解像化を行う「再構成型超解像」方法（特許文献３、４）があり、製品化されている。しかしながら、動きの激しい場面やズームイン／ズームアウトが激しく行われる場面など、被写体の大きさが大きく変化する場合や被写体が複数のフレームに映っていない場合、「再構成型超解像」方法による超解像は困難になるという問題があった。
【0007】
他の方法としては、非特許文献１にあるように、ビデオカメラによって得られる互いに少しずつ視点の異なる連続した複数枚の静止画像を基に、Ｂａｙｅｓ統計処理を行い、超解像化された静止画を得る方法がある。しかし、この方法では、常に複数枚の劣化情報を含む静止画像を蓄積するためのメモリが大量に必要であり、しかも、１枚の超解像化された静止画を得るためには、常に複数枚の静止画像を処理する必要があるため、大量のメモリを必要とするばかりか計算が膨大になり、ＴＶ映像を処理することができないという問題があった。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】国際公開番号：特許第４５６８７３０号（ＷＯ２００６／０４１１２７）
【特許文献2】国際公開番号：特許第４５７５３８７号（ＷＯ２００６／０４１１２６）
【特許文献3】特許公開番号：特開２００９−２９６４１０
【特許文献4】特許公開番号：特開２００９−１００４０７
【0009】
【非特許文献1】兼村厚範等「ベイズ超解像と階層モデリング」日本神経回路学会誌、ｖｏｌ．１５，Ｎｏ．３（２００８），１８１−１９２
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献１〜４および非特許文献１に記載されたいずれの方法でも、光学的なボケや滲みといった劣化情報を含む１フレームだけの情報に基づきＴＶ映像を超解像処理することはできないという問題があった。
【0011】
この問題を解決するために、本発明者が発明した画像復元技術（特許文献１〜２）の演算対象を複素数から実数へ替え更にＦＰＧＡを用いてハードウエア化する事により改良し、略実時間処理を可能とするＴＶ映像向け超解像処理方法及びＴＶ映像向け超解像処理装置を発明し特許出願したが、このＴＶ映像向け超解像処理装置は、ＦＰＧＡ化及びＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）化した際のゲート数が１５０万ゲートと大規模でコストが高く実装面積が大きいという問題があった。
【0012】
そこで、本発明は、これら上記の問題を解決し、ＴＶ映像を超解像処理するためのＴＶ映像の加速超解像処理方法及び同方法によるＴＶ映像向け加速超解像処理装置並びに第１〜６加速超解像処理プログラムそして第１〜２記憶媒体を提供することを課題とする。
【課題を解決するための手段】
【0013】
上記課題を解決するために、本発明においては、本発明者が新たに発明した加速アルゴリズムを用いるＴＶ映像の加速超解像処理方法及び同方法によるＴＶ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体を提供する。この加速アルゴリズムは反復演算を加速度的に行うために反復演算回数が数回で済み、本発明者が発明し現在出願中のＴＶ映像向け超解像処理方法で用いたアルゴリズムに比べて、処理工程数を大幅に低減する事が可能と成る。
【0014】
本発明による第１の発明は、１フレーム分のＴＶ映像信号に含まれるフレームから光学的劣化を低減して劣化前の１フレーム分のＴＶ映像信号を復元するＴＶ映像向け加速超解像処理方法に関する。本発明による第１の発明であるＴＶ映像向け加速超解像処理方法は、（Ｓ１）最大反復演算回数を設定する工程と、（Ｓ２）ＴＶ映像を見ながらＴＶ映像の劣化状況に適した劣化示数を指定する劣化示数指定工程と、（Ｓ３）劣化示数に紐づいた第１番目のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の輝度分布及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布を準備するＰＳＦ準備工程と、（Ｓ４）１フレーム分の輝度分布から成る劣化画像の輝度分布を１フレーム分のＴＶ映像信号から準備する劣化画像準備工程と、（Ｓ５）劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す復元画像初期値準備工程と、（Ｓ６）１連のＰＳＦの輝度分布は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズと呼ぶ時、このＰＳＦサイズを求めるＰＳＦサイズ取得工程と、（Ｓ７）反復演算回数を計数するカウンターに１を設定する第１リセット工程と、（Ｓ８）復元画像初期値の推定輝度分布を複写してこれを補正復元画像初期値の推定輝度分布と成し更に補正復元画像初期値の推定輝度分布をＰＳＦサイズを基にして補正する第１復元画像初期値補正工程と、（Ｓ９）１連のＰＳＦの輝度分布からカウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布と成すＰＳＦ選定工程と、（Ｓ１０）補正復元画像初期値の推定輝度分布にＰＳＦの輝度分布を畳込み第１の関数を得る工程と、（Ｓ１１）第１の関数を反転して第２の関数を得る工程と、（Ｓ１２）第２の関数に劣化画像の輝度分布を掛け合わせて第３の関数を得る工程と、（Ｓ１３）第３の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ１４）カウンターに１を加算する工程と、（Ｓ１５）カウンターの値が最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１６）の工程へ進むが、検証結果が真であれば、工程（Ｓ１８）へ進む工程と、（Ｓ１６）復元画像の推定輝度分布を復元画像初期値の推定輝度分布と入れ替える工程と、（Ｓ１７）（Ｓ８）の工程へ戻る工程と、（Ｓ１８）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、（Ｓ１９）（Ｓ１）〜（Ｓ７）の工程から構成される準備工程と、（Ｓ２０）（Ｓ８）〜（Ｓ１８）の工程から構成される第１画像復元工程を備え、（Ｓ２１）準備工程Ｓ１９及び第１画像復元工程Ｓ２０において、各工程のＳの添え数字が小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１加速超解像処理工程と、（Ｓ２２）最尤復元画像の輝度分布を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号として出力するＴＶ映像化工程とを備える事に特徴が有る。この第１の発明は、請求項１に記載されたものと同じものである。
【0015】
本発明による第２の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成するＰＳＦ準備工程の第２の態様に関し、このＰＳＦ準備工程の第２の態様は、（Ｓ３０）劣化示数を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベースを検索し、ヒットしたＰＳＦの輝度分布を第１番目のＰＳＦの輝度分布と成す工程と、（Ｓ３１）数を計数する第２カウンターに１を入力してリセットする工程と、（Ｓ３２）第１番目のＰＳＦの輝度分布をＰＳＦ初期値の輝度分布と成す工程と、（Ｓ３３）第２カウンターに１を加算する工程と、（Ｓ３４）第２カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ３５）の工程へ進み、もしも検証結果が真で有れば（Ｓ３８）の工程へジャンプする工程と、（Ｓ３５）ＰＳＦ初期値の輝度分布をＰＳＦ復元工程により復元する事により最尤復元ＰＳＦの輝度分布を得る工程と、（Ｓ３６）第２カウンターの値をｎとする時、最尤復元ＰＳＦの輝度分布を第ｎ番目のＰＳＦの輝度分布と成す工程と、（Ｓ３７）（Ｓ３３）の工程へ戻る工程と、（Ｓ３８）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、前記第１番目のＰＳＦの輝度分布から前記ｎ＿ｍａｘ番目のＰＳＦの輝度分布までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に前記劣化示数をラベルとして付け、前記劣化示数に紐づいた前記１連のＰＳＦの輝度分布と成す工程とから構成される事に特徴が有る。この第２の発明は、請求項２に記載されたものと同じものである。
【0016】
本発明による第３の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成するＰＳＦ準備工程の第３の態様に関し、このＰＳＦ準備工程の第３の態様は、（Ｓ４０）最大反復演算回数を５に設定する工程と、（Ｓ４１）ＰＳＦデータベース内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前にＰＳＦ準備工程を実行して、劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベースを準備する工程と、（Ｓ４２）劣化示数を用いて拡大ＰＳＦデータベースを検索しヒットした１連のＰＳＦの輝度分布を取得しこれを出力する工程とから構成される事に特徴が有る。この第３の発明は、請求項３に記載されたものと同じものである。
【0017】
本発明による第４の発明は、第２の発明であるＰＳＦ準備工程の第２の態様を構成するＰＳＦ復元工程に関し、このＰＳＦ復元工程は、（Ｓ５０）最大反復演算回数に６を代入する工程と、（Ｓ５１）ＰＳＦ初期値の輝度分布を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布と成す工程と、（Ｓ５２）ＰＳＦ初期値の輝度分布を復元ＰＳＦ初期値の推定輝度分布と成す工程と、（Ｓ５３）カウンターに１を代入してリセットする工程と、（Ｓ５４）復元ＰＳＦ初期値の推定輝度分布２０を補正復元ＰＳＦ初期値の推定輝度分布２１と成し更にＰＳＦ初期値の輝度分布１５を補正復元ＰＳＦ初期値の推定輝度分布２１に畳込み演算する際に補正復元ＰＳＦ初期値の推定輝度分布２１の周辺部に発生する演算困難領域を、ＰＳＦ初期値の輝度分布１５の画像サイズを基にして計算し、上辺境界に関する演算困難領域の画素をコピーし、このコピーした画素を補正復元ＰＳＦ初期値の推定輝度分布２１の上辺境界の外側に上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、補正復元ＰＳＦ初期値の推定輝度分布２１を補正する復元ＰＳＦ初期値補正工程と、（Ｓ５５）ＰＳＦ初期値の輝度分布を補正復元ＰＳＦ初期値の推定輝度分布に畳込み第４の関数を得る工程と、（Ｓ５６）第４の関数を反転して第５の関数を得る工程と、（Ｓ５７）第５の関数を劣化ＰＳＦの輝度分布に掛け合わせて第６の関数を得る工程と、（Ｓ５８）第６の関数を復元ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、（Ｓ５９）カウンターに１を加算する工程と、（Ｓ６０）カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ６１）の工程へ進み、もしも検証結果が真で有れば、（Ｓ６３）の工程へジャンプする工程と、（Ｓ６１）復元ＰＳＦの推定輝度分布を復元ＰＳＦ初期値の推定輝度分布と入れ替える工程と、（Ｓ６２）（Ｓ５４）の工程へジャンプする工程と、（Ｓ６３）復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する工程とを備える事に特徴が有る。この第４の発明は、請求項４に記載されたものと同じものである。
【0018】
本発明による第５の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する第１復元画像初期値補正工程に関し、この第１復元画像初期値補正工程は、（Ｓ７０）復元画像初期値の推定輝度分布を補正復元画像初期値の推定輝度分布と成す工程と、（Ｓ７１）ＰＳＦサイズを基に１連のＰＳＦの輝度分布の内いずれか１つを補正復元画像初期値の推定輝度分布に畳込み演算する際に補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を計算する工程と、（Ｓ７２）補正復元画像初期値の推定輝度分布の演算困難領域内の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布の４辺に対してミラー対称に成る様にそれぞれ反転させ更に補正復元画像初期値の推定輝度分布の４辺の境界の外側に配置する様にペーストして補正する工程と、（Ｓ７３）補正復元画像初期値の推定輝度分布の演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の左上隅部に発生する空白領域に、ペーストして補正する工程と、（Ｓ７４）補正復元画像初期値の推定輝度分布の演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の右上隅部に発生する空白領域に、ペーストして補正する工程と、（Ｓ７５）補正復元画像初期値の推定輝度分布の演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の左下隅部に発生する空白領域に、ペーストして補正する工程と、（Ｓ７６）補正復元画像初期値の推定輝度分布の演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の右下隅部に発生する空白領域に、ペーストして補正する工程とを備える事に特徴が有る。この第５の発明は、請求項５に記載されたものと同じものである。
【0019】
本発明による第６の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する第１画像復元工程の第２の態様に関し、この第１画像復元工程の第２の態様は、（Ｓ８０）最大反復演算回数をｎ＿ｍａｘとし、更にｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布うち、第ｎ番目のＰＳＦの輝度分布をＰＳＦの輝度分布として第ｎ段目の第１単分画像復元工程に提供するＰＳＦ提供工程と、（Ｓ８１）ＰＳＦの輝度分布、復元画像初期値の推定輝度分布及び劣化画像の輝度分布から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、劣化画像の輝度分布に最も尤らしい復元画像の推定輝度分布を求めこれを出力する第１単分画像復元工程とを備え、この第１単分画像復元工程Ｓ８１は、（Ｓ８２）ＰＳＦサイズに基づき復元画像初期値の推定輝度分布を補正して補正復元画像初期値の推定輝度分布を求める第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程と、（Ｓ８３）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第７の関数を得る工程と、（Ｓ８４）第７の関数を反転して第８の関数を得る工程と、（Ｓ８５）第８の関数を劣化画像の輝度分布に掛け合わせて第９の関数を得る工程と、（Ｓ８６）第９の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ８７）復元画像の推定輝度分布を出力する工程とを備え、（Ｓ８８）第ｎ段目の第１単分画像復元工程Ｓ８１−ｎの（Ｓ８７）の工程の出力を第（ｎ＋１）段目の第１単分画像復元工程Ｓ８１−（ｎ＋１）の（Ｓ８２）の工程に接続する事により構成されるｎ＿ｍａｘ段の直列連結体から成る第２画像復元工程であり、この第２画像復元工程Ｓ８８において、直列接続された第１単分画像復元工程Ｓ８１の数であるｎ＿ｍａｘ回の反復演算を行い、ｎ＿ｍａｘ段目の第１単分画像復元工程Ｓ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する事に特徴が有る。この第６の発明は、請求項６に記載されたものと同じものである。
【0020】
本発明による第７の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する第１画像復元工程の第３の態様に関し、この第１画像復元工程の第３の態様は、（Ｓ９０）カウンターに０を代入する事によりリセットする工程と、（Ｓ９１）第２カウンターに１を代入する事によりリセットする工程と、（Ｓ９２）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ９３）の工程へ進み、もしも検証結果が真であれば（Ｓ９６）の工程へジャンプする工程と、（Ｓ９３）劣化画像の輝度分布を劣化画像保存用バッファー及び復元画像初期値用バッファーに転送する工程と、（Ｓ９４）（Ｓ９６）の工程へジャンプする工程と、（Ｓ９５）（Ｓ１０２）の工程の復元画像の推定輝度分布を復元画像初期値用バッファーに転送する工程と、（Ｓ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布と成す工程と、（Ｓ９７）復元画像初期値用バッファーから復元画像初期値の推定輝度分布を読込む工程と、（Ｓ９８）ＰＳＦサイズに基づき復元画像初期値の推定輝度分布を補正しこれを補正復元画像初期値の推定輝度分布と成す第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程と、（Ｓ９９）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第１０の関数を得る工程と、（Ｓ１００）第１０の関数を反転して第１１の関数を得る工程と、（Ｓ１０１）劣化画像の輝度分布を劣化画像保存用バッファーから読込これに第１１の関数を掛け合わせて第１２の関数を得る工程と、（Ｓ１０２）第１２の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ１０３）カウンターに１を加算する工程と、（Ｓ１０４）第２カウンターに１を加算する工程と、（Ｓ１０５）カウンターの値が最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ９５）の工程へジャンプし、もしも検証結果が真であれば（Ｓ１０６）の工程へ進む工程と、（Ｓ１０６）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程とを備え、（Ｓ１０７）各工程のＳの添え数字の小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元工程である事に特徴が有る。この第７の発明は、請求項７に記載されたものと同じものである。
【0021】
本発明による第８の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する劣化画像準備工程に関し、この劣化画像準備工程は、（Ｓ１１０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出工程と、（Ｓ１１１）１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延工程と、（Ｓ１１２）ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換工程と、（Ｓ１１３）ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出工程と、（Ｓ１１４）Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理工程とを備える事に特徴が有る。この第８の発明は、請求項８に記載されたものと同じものである。
【0022】
本発明による第９の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成するＴＶ映像化工程に関し、このＴＶ映像化工程は、（Ｓ１２０）最尤復元画像の輝度分布のガンマ処理を行うガンマ処理工程と、（Ｓ１２１）Ｙ劣化画像抽出工程で保持したＵ劣化画像の分布及びＶ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成工程と、（Ｓ１２２）ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換工程と、（Ｓ１２３）ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換工程と、（Ｓ１２４）ＲＧＢ信号を遅延工程が出力する残りのＴＶ映像信号と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成工程とを備える事に特徴が有る。この第９の発明は、請求項９に記載されたものと同じものである。
【0023】
本発明による第１０の発明は、ＴＶ映像向け加速超解像処理方法を構成する第１〜７の発明を構成するＰＳＦの輝度分布に関し、このＰＳＦの輝度分布は、縁の無い正方形状の同一サイズの画素から成るものであって、その輝度分布は中心が最も明るい２次元正規分布であり、そのサイズが５ｘ５画素である事に特徴が有る。この第１０の発明は、請求項１０に記載されたものと同じものである。
【0024】
本発明による第１１の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する準備工程及び第１画像復元工程をコンピュータに実行させるための第１加速超解像処理プログラムである。この第１１の発明は、請求項１１に記載されたものと同じものである。
【0025】
本発明による第１２の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する準備工程及び第６の発明であるＴＶ映像向け加速超解像処理方法を構成する第２画像復元工程をコンピュータに実行させるための第２加速超解像処理プログラムである。この第１２の発明は、請求項１２に記載されたものと同じものである。
【0026】
本発明による第１３の発明は、第１の発明であるＴＶ映像向け加速超解像処理方法を構成する準備工程及び第７の発明であるＴＶ映像向け加速超解像処理方法を構成する第３画像復元工程をコンピュータに実行させるための第３加速超解像処理プログラムである。この第１３の発明は、請求項１３に記載されたものと同じものである。
【0027】
第１加速超解像処理プログラム、第２加速超解像処理プログラム及び第３加速超解像処理プログラムは、それぞれ、コンピュータが読込んで実行可能な言語、例えば、Ｃ＋＋、ＸＴＭＬ、ＨＴＭＬ及びＪＡＶＡ（登録商標）を使用して記述されたものである。本発明においては、Ｃ＋＋、ＸＴＭＬ、ＨＴＭＬ及びＪＡＶＡ（登録商標）を使用している。
【0028】
本発明による第１４の発明は、第１１の発明である第１加速超解像処理プログラム、第１２の発明である第２加速超解像処理プログラム及び第１３の発明である第３加速超解像処理プログラムは、いずれも暗号化されたものであり、これ等暗号化された第１加速超解像処理プログラム、第２加速超解像処理プログラム及び第３加速超解像処理プログラムを記憶すると共にコンピュータに接続可能で且つコンピュータに読み込ませる事が可能な事に特徴がある第１記憶媒体である。この第１４の発明は、請求項１４に記載されたものと同じものである。
【0029】
本発明において、第１記憶媒体には、８Ｇバイト以上の容量を有し且つ暗号化記憶に対応したＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュメモリスティックが使用可能である。その他、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のほか、８Ｇバイト以上の容量を有し且つ暗号化記憶に対応したものであれば、フラッシュメモリカード、外付けＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、外付けＳＤＤ（Ｓｏｌｉｄｓｔａｔｅ Ｄｉｓｋ Ｄｒｉｖｅ）などが使用可能である。
【0030】
本発明による第１５の発明は、第１〜５、８〜１０の発明から構成されるＴＶ映像向け加速超解像処理方法に従い、１フレーム分のＴＶ映像信号に含まれるフレームから光学的劣化を低減して劣化前の１フレーム分のＴＶ映像信号を復元するＴＶ映像向け加速超解像処理装置に関し、このＴＶ映像向け加速超解像処理装置は、（Ｗ１）最大反復演算回数を設定する手段と、（Ｗ２）ＴＶ映像を見ながらＴＶ映像の劣化状況に適した劣化示数を指定する劣化示数指定手段と、（Ｗ３）劣化示数に紐づいた第１番目のＰＳＦの輝度分布及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布を準備するＰＳＦ準備手段と、（Ｗ４）１フレーム分の輝度分布から成る劣化画像の輝度分布を１フレーム分のＴＶ映像信号から準備する劣化画像準備手段と、（Ｗ５）劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す復元画像初期値準備手段と、（Ｗ６）１連のＰＳＦの輝度分布は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズと呼ぶ時、このＰＳＦサイズを求めるＰＳＦサイズ取得手段と、（Ｗ７）反復演算回数を計数するカウンターに１を設定する第１リセット手段と、（Ｗ８）復元画像初期値の推定輝度分布を複写してこれを補正復元画像初期値の推定輝度分布と成し更に補正復元画像初期値の推定輝度分布をＰＳＦサイズを基にして補正する第１復元画像初期値補正手段と、（Ｗ９）１連のＰＳＦの輝度分布からカウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布と成すＰＳＦ選定手段と、（Ｗ１０）補正復元画像初期値の推定輝度分布にＰＳＦの輝度分布を畳込み第１３の関数を得る手段と、（Ｗ１１）第１３の関数を反転して第１４の関数を得る手段と、（Ｗ１２）第１４の関数に劣化画像の輝度分布を掛け合わせて第１５の関数を得る手段と、（Ｗ１３）第１５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ１４）カウンターに１を加算する手段と、（Ｗ１５）カウンターの値が最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１６）の手段へ進むが、検証結果が真であれば、手段（Ｗ１８）へ進む手段と、（Ｗ１６）復元画像の推定輝度分布を復元画像初期値の推定輝度分布と入れ替える手段と、（Ｗ１７）（Ｗ８）の手段へ戻る手段と、（Ｗ１８）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、（Ｗ１９）（Ｗ１）〜（Ｗ７）の手段から構成される前準備手段と、（Ｗ２０）（Ｗ８）〜（Ｗ１８）の手段から構成される第１画像復元手段を備え、（Ｗ２１）準備手段Ｗ１９及び第１画像復元手段Ｗ２０において、手段のＷの添え数字が小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１加速超解像処理手段と、（Ｗ２２）最尤復元画像の輝度分布を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号として出力するＴＶ映像化手段とを備える事に特徴が有る。この第１５の発明は、請求項１５に記載されたものと同じものである。
【0031】
本発明による第１６の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成するＰＳＦ準備手段の第２の態様に関し、このＰＳＦ準備手段の第２の態様は、（Ｗ３０）劣化示数を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベースを検索し、ヒットしたＰＳＦの輝度分布を第１番目のＰＳＦの輝度分布と成す手段と、（Ｗ３１）数を計数する第２カウンターに１を入力してリセットする手段と、（Ｗ３２）第１番目のＰＳＦの輝度分布をＰＳＦ初期値の輝度分布と成す手段と、（Ｗ３３）第２カウンターに１を加算する手段と、（Ｗ３４）第２カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ３５）の手段へ進み、もしも検証結果が真で有れば（Ｗ３８）の手段へジャンプする手段と、（Ｗ３５）ＰＳＦ初期値の輝度分布をＰＳＦ復元手段により復元する事により復元ＰＳＦの輝度分布を得る手段と、（Ｗ３６）第２カウンターの値をｎとする時、復元ＰＳＦの輝度分布を第ｎ番目のＰＳＦの輝度分布と成す手段と、（Ｗ３７）（Ｗ３３）の手段へ戻る手段と、（Ｗ３８）前記最大反復演算回数をｎ＿ｍａｘとし、更に前記ｎ＿ｍａｘ未満の自然数をｎとする時、前記第１番目のＰＳＦの輝度分布から前記ｎ＿ｍａｘ番目の輝度分布までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に前記劣化示数をラベルとして付け、前記劣化示数に紐づいた前記１連のＰＳＦの輝度分布と成す手段とを備える事に特徴が有る。この第１６の発明は、請求項１６に記載されたものと同じものである。
【0032】
本発明による第１７の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成するＰＳＦ準備手段の第３の態様に関し、このＰＳＦ準備手段の第３の態様は、（Ｗ４０）最大反復演算回数を５に設定する手段と、（Ｗ４１）ＰＳＦデータベース内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前にＰＳＦ準備手段を実行して、劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベースを準備する手段と、（Ｗ４２）劣化示数を用いて拡大ＰＳＦデータベースを検索しヒットした１連のＰＳＦの輝度分布を取得する手段とを備える事に特徴が有る。この第１７の発明は、請求項１７に記載されたものと同じものである。
【0033】
本発明による第１８の発明は、第１６の発明であるＰＳＦ準備手段の第２の態様を構成するＰＳＦ復元手段に関し、このＰＳＦ復元手段は、（Ｗ５０）最大反復演算回数に６を代入する手段と、（Ｗ５１）ＰＳＦ初期値の輝度分布を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布と成す手段と、（Ｗ５２）ＰＳＦ初期値の輝度分布を復元ＰＳＦ初期値の推定輝度分布と成す手段と、（Ｗ５３）カウンターに１を代入してリセットする手段と、（Ｗ５４）復元ＰＳＦ初期値の推定輝度分布を補正復元ＰＳＦ初期値の推定輝度分布と成し、更にＰＳＦ初期値の輝度分布を補正復元ＰＳＦ初期値の推定輝度分布に畳込み演算する際に補正復元ＰＳＦ初期値の推定輝度分布の周辺部に発生する演算困難領域を、ＰＳＦ初期値の輝度分布の画像サイズを基にして計算し、上辺境界に関する演算困難領域の画素をコピーし、このコピーした画素を補正復元ＰＳＦ初期値の推定輝度分布の上辺境界の外側に上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、補正復元ＰＳＦ初期値の推定輝度分布を補正する復元ＰＳＦ初期値補正手段と、（Ｗ５５）ＰＳＦ初期値の輝度分布を補正復元ＰＳＦ初期値の推定輝度分布に畳込み第１６の関数を得る手段と、（Ｗ５６）第１６の関数を反転して第１７の関数を得る手段と、（Ｗ５７）第１７の関数を劣化ＰＳＦの輝度分布に掛け合わせて第１８の関数を得る手段と、（Ｗ５８）第１８の関数を復元ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、（Ｗ５９）カウンターに１を加算する手段と、（Ｗ６０）カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ６１）の手段へ進み、もしも検証結果が真で有れば、（Ｗ６３）の手段へジャンプする手段と、（Ｗ６１）復元ＰＳＦの推定輝度分布を復元ＰＳＦ初期値の推定輝度分布と入れ替える手段と、（Ｗ６２）（Ｗ５４）の手段へジャンプする手段と、（Ｗ６３）復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する手段とを備える事に特徴が有る。この第１８の発明は、請求項１８に記載されたものと同じものである。
【0034】
本発明による第１９の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する第１復元画像初期値補正手段に関し、この第１復元画像初期値補正手段は、（Ｗ７０）復元画像初期値の推定輝度分布を補正復元画像初期値の推定輝度分布と成す手段と、（Ｗ７１）ＰＳＦサイズを基に１連のＰＳＦの輝度分布の内いずれか１つを補正復元画像初期値の推定輝度分布に畳込み演算する際に補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を計算する手段と、（Ｗ７２）補正復元画像初期値の推定輝度分布の演算困難領域内の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布の４辺に対してミラー対称に成る様にそれぞれ反転させ更に補正復元画像初期値の推定輝度分布の４辺の境界の外側に配置する様にペーストして補正する手段と、（Ｗ７３）補正復元画像初期値の推定輝度分布の演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の左上隅部に発生する空白領域に、ペーストして補正する手段と、（Ｗ７４）補正復元画像初期値の推定輝度分布の演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の右上隅部に発生する空白領域に、ペーストして補正する手段と、（Ｗ７５）補正復元画像初期値の推定輝度分布の演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の左下隅部に発生する空白領域に、ペーストして補正する手段と、（Ｗ７６）補正復元画像初期値の推定輝度分布の演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布の右下隅部に発生する空白領域に、ペーストして補正する手段とを備える事に特徴が有る。この第１９の発明は、請求項１９に記載されたものと同じものである。
【0035】
本発明による第２０の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する第１画像復元手段の第２の態様に関し、この第１画像復元手段の第２の態様は、（Ｗ８０）最大反復演算回数をｎ＿ｍａｘとし、更にｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布うち、第ｎ番目のＰＳＦの輝度分布をＰＳＦの輝度分布として第ｎ段目の第１単分画像復元手段に提供するＰＳＦ提供手段と、（Ｗ８１）ＰＳＦの輝度分布、復元画像初期値の推定輝度分布及び劣化画像の輝度分布から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、劣化画像の輝度分布に最も尤らしい復元画像の推定輝度分布を求めこれを出力する第１単分画像復元手段と、（Ｗ８２）第１復元画像初期値補正手段と同じ構成から成る第２復元画像初期値補正手段により補正復元画像初期値の推定輝度分布を求める手段と、（Ｗ８３）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第１９の関数を得る手段と、（Ｗ８４）第１９の関数を反転して第２０の関数を得る手段と、（Ｗ８５）第２０の関数を劣化画像の輝度分布に掛け合わせて第２１の関数を得る手段と、（Ｗ８６）第２１の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ８７）復元画像の推定輝度分布を出力する手段と、（Ｗ８８）第ｎ段目の第１単分画像復元手段Ｗ８１−ｎの（Ｗ８７）の手段の出力を第（ｎ＋１）段目の第１単分画像復元手段Ｗ８１−（ｎ＋１）の（Ｗ８２）の手段に接続する事により構成されるｎ＿ｍａｘ段の直列連結体から成る第２画像復元手段とを備え、この第２画像復元手段Ｗ８８において、直列接続された第１単分画像復元手段Ｗ８１の数であるｎ＿ｍａｘ回の反復演算を行い、ｎ＿ｍａｘ段目の第１単分画像復元手段Ｗ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する事に特徴が有る。この第２０の発明は、請求項２０に記載されたものと同じものである。
【0036】
本発明による第２１の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する第１画像復元手段の第３の態様に関し、この第１画像復元手段の第３の態様は、（Ｗ９０）カウンターに０を代入する事によりリセットする手段と、（Ｗ９１）第２カウンターに１を代入する事によりリセットする手段と、（Ｗ９２）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ９３）の手段へ進み、もしも検証結果が真であれば（Ｗ９６）の手段へジャンプする手段と、（Ｗ９３）劣化画像の輝度分布を劣化画像保存用バッファー及び復元画像初期値用バッファーに転送する手段と、（Ｗ９４）（Ｗ９６）の手段へジャンプする手段と、（Ｗ９５）（Ｗ１０２）の手段の復元画像の推定輝度分布を復元画像初期値用バッファーに転送する手段と、（Ｗ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布と成す手段と、（Ｗ９７）復元画像初期値用バッファーから復元画像初期値の推定輝度分布を読込む手段と、（Ｗ９８）復元画像初期値の推定輝度分布を補正しこれを補正復元画像初期値の推定輝度分布と成す第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段と、（Ｗ９９）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第２２の関数を得る手段と、（Ｗ１００）第２２の関数を反転して第２３の関数を得る手段と、（Ｗ１０１）第２３の関数を劣化画像の輝度分布に掛け合わせて第２４の関数を得る手段と、（Ｗ１０２）第２４の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ１０３）カウンターに１を加算する手段と、（Ｗ１０４）第２カウンターに１を加算する手段と、（Ｗ１０５）カウンターの値が最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ９５）の手段へジャンプし、もしも検証結果が真であれば（Ｗ１０６）の手段へ進む手段と、（Ｗ１０６）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段とを備え、（Ｗ１０７）各手段のＳの添え数字の小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元手段である事に特徴が有る。この第２１の発明は、請求項２１に記載されたものと同じものである。
【0037】
本発明による第２２の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する劣化画像準備手段に関し、この劣化画像準備手段は、（Ｗ１１０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出手段と、（Ｗ１１１）１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延手段と、（Ｗ１１２）ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換手段と、（Ｗ１１３）ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出手段と、（Ｗ１１４）Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理手段とを備える事に特徴が有る。この第２２の発明は、請求項２２に記載されたものと同じものである。
【0038】
本発明による第２３の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成するＴＶ映像化手段に関し、このＴＶ映像化手段は、（Ｗ１２０）最尤復元画像の輝度分布のガンマ処理を行うガンマ処理手段と、（Ｗ１２１）Ｙ劣化画像抽出手段で保持したＵ劣化画像の分布及びＶ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成手段と、（Ｗ１２２）ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換手段と、（Ｗ１２３）ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換手段と、（Ｗ１２４）ＲＧＢ信号を遅延手段が出力する残りのＴＶ映像信号と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成手段とを備える事に特徴が有る。この第２３の発明は、請求項２３に記載されたものと同じものである。
【0039】
本発明による第２４の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する準備手段及び第１画像復元手段を構成し且つ実行させるための第４加速超解像処理プログラムである。この第２４の発明は、請求項２４に記載されたものと同じものである。
【0040】
本発明による第２５の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する準備手段及び第２０の発明であるＴＶ映像向け加速超解像処理装置を構成する第２画像復元手段を構成し且つ実行させるための第５加速超解像処理プログラムである。この第２５の発明は、請求項２５に記載されたものと同じものである。
【0041】
本発明による第２６の発明は、第１５の発明であるＴＶ映像向け加速超解像処理装置を構成する準備手段及び第２１の発明であるＴＶ映像向け加速超解像処理装置を構成する第３画像復元手段を構成し且つ実行させるための第６加速超解像処理プログラムである。この第２６の発明は、請求項２６に記載されたものと同じものである。
【0042】
第４加速超解像処理プログラム、第５加速超解像処理プログラム及び第６加速超解像処理プログラムは、それぞれ、コンピュータが読込んで実行可能な言語、例えば、Ｃ＋＋、ＸＴＭＬ、ＨＴＭＬ及びＪＡＶＡ（登録商標）を使用して記述されたものである。本発明においては、Ｃ＋＋、ＸＴＭＬ、ＨＴＭＬ及びＪＡＶＡ（登録商標）を使用している。
【0043】
本発明による第２７の発明は、第４加速超解像処理プログラム、第５加速超解像処理プログラム及び第６加速超解像処理プログラムはそれぞれ暗号化されたものであり、これ等の暗号化された第４加速超解像処理プログラム、第５加速超解像処理プログラム及び第６加速超解像処理プログラムを記憶すると共にコンピュータに接続可能で且つコンピュータに読み込ませる事が可能な第２記憶媒体である。
【0044】
本発明の第２記憶媒体には、第１記憶媒体と同じものが使用できる。
【発明の効果】
【0045】
従来、ＴＶ映像の１フレームの情報だけから画像を復元し、これを連続的に行いＴＶ映像の超解像処理を行う装置はＬＳＩ化すると１５０万ゲート規模と大規模で経済的でないという問題を、本発明によるＴＶ映像向け加速超解像方法及び装置を適用することにより２回の反復演算によって従来並みの品質の超解像画像が得られるという工程数及び手段数削減効果、高速化効果、略実時間処理効果、ＬＳＩ化した際のゲート規模が従来の約３％の７万ゲートにまで削減できるという効果、ＬＳＩ化した際のコストが安価であるという経済的効果、の少なくとも一部が実現される。また、本発明は、ＴＶ方式の映像であれば線源を問わず何でも良いため、赤外線カメラやＸ線カメラによる映像であっても良く、適用範囲及び応用範囲が広いという効果も実現される。
【図面の簡単な説明】
【0046】
【図1】実際のＴＶ映像の１フレームが含む劣化情報の１例を示す図
【図2】本発明による第１の発明のＴＶ映像向け加速超解像処理方法における処理手順の１例を示すフローチャート
【図3】本発明による第２の発明であるＰＳＦ準備工程の第２の態様における処理手順の１例を示すフローチャート
【図4】本発明による第３の発明であるＰＳＦ準備工程の第３の態様における処理手順の１例を示すフローチャート
【図5】本発明による第４の発明であるＰＳＦ復元工程における処理手順の１例を示すフローチャート
【図6】本発明による第５の発明である第１復元画像初期値補正工程における処理手順の１例を示すフローチャート
【図7】本発明による第６の発明である第１画像復元工程の第２の態様としての第２画像復元工程における処理手順の１例を示すフローチャート
【図8】本発明による第７の発明である第３画像復元工程における処理手順の１例を示すフローチャート
【図9】本発明による第８の発明である劣化画像準備工程における処理手順の１例を示すフローチャート
【図10】本発明による第９の発明であるＴＶ映像化工程における処理手順の１例を示すフローチャート
【図11】本発明による第１０の発明であるＰＳＦの輝度分布の１例を示すフローチャート
【図12】本発明による第１５の発明であるＴＶ映像向け加速超解像処理装置の構成に関する１例を示す図
【図13】本発明による第１６の発明であるＰＳＦ準備手段の第２の態様の構成に関する１例を示す図
【図14】本発明による第１７の発明であるＰＳＦ準備手段の第３の態様の構成に関する１例を示す図
【図15】本発明によるＰＳＦデータベース内のデータの1例を示す図
【図16】本発明による拡大ＰＳＦデータベース内のデータの1例を示す図
【図17】本発明による第１８の発明であるＰＳＦ復元手段の構成に関する１例を示す図
【図18】本発明による第１９の発明である第１復元画像初期値補正手段の構成に関する１例を示す図
【図19】第１復元画像初期値補正手段による復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域の補正の１例を示す図
【図20】本発明による第２０の発明である第１画像復元手段の第２の態様としての第２画像復元手段の構成に関する１例を示す図
【図21】本発明による第２１の発明である第１画像復元手段の第３の態様としての第３画像復元手段の構成に関する１例を示す図
【図22】本発明による第２２の発明である劣化画像準備手段の構成に関する１例を示す図
【図23】本発明による第２３の発明であるＴＶ映像化手段の構成に関する１例を示す図
【図24】本発明による実施例１のＴＶ映像向け加速超解像処理システムの構成に関する１例を示す図
【図25】本発明による第１加速超解像処理プログラムの構成の１例及び同プログラムをコンピュータにインストールする状況の１例を示す図
【図26】本発明による超解像処理ウインドウの構成に関する１例を示す図
【図27】本発明によるＴＶ映像向け加速超解像処理システムにおいて超解像処理を実行する手順の１例をトランザクションテーブルとして示す図
【図28】本発明による実施例１による超解像処理の状況の１例を示す図
【図29】本発明による第１セットトップボックス内部の構成に関する１例を示す図
【図30】本発明による第１セットトップボックスのセットアップの状況の1例を示す図
【図31】本発明者によるＴＶ映像向け超解像処理方法の開発データに基づく反復演算回数とＬＳＩ規模との間の関係の１例を示す図
【図32】本発明者による従来法とＴＶ映像向け加速超解像処理方法による超解像処理品質の比較の１例を示す図
【図33】標準画像の劣化程度と反復演算回数による超解像処理品質との間の関係の１例を示す図
【発明を実施するための形態】
【0047】
本発明を実施するための最良の形態について、適宜図を用いながら説明する。
【0048】
本発明において、劣化画像、ＰＳＦ及び復元画像は、それぞれ縁の無い同じサイズの正方形の画素が敷き詰められて構成されており、各画素は８ビット深さの赤原色（Ｒ）、８ビット深さの緑原色（Ｇ）及び８ビット深さの青原色（Ｂ）から成るＲＧＢカラー画素であり、ＲＧＢが同じビット数の場合にはグレイスケール画素と成る。本発明において、ＰＳＦはグレイスケール画素のみから成る。
【0049】
本発明において、劣化画像、ＰＳＦ及び復元画像は、左上隅の画素を原点とし、原点が存在する行を、行を変えずに横方向に向かった画素行に平行な軸をｘ軸とし、原点が存在する列を、列を変えずに縦方向に向かった画素列に平行な軸をｙ軸とする。劣化画像、ＰＳＦ及び復元画像内の全ての画素は、（ｘ、ｙ）という２次元座標によって指定する事が可能である。
【0050】
本発明において、劣化画像及び復元画像は互いに同じ画像サイズであり、同じ座標を有する。しかし、本発明においては、画像の見分けがつかない程ボケている場合を取り扱わないため、ＰＳＦの周辺部分は略ゼロであり、計算回数の削減のために、劣化画像及び復元画像内の何処へ行ってもＰＳＦの輝度分布は変化しないという仮定が成立するものとして取り扱っており、ＰＳＦサイズは５画素かける５画素のものを使用している。
【0051】
本発明において、ＰＳＦ、劣化画像及び復元画像はそれぞれ輝度成分から成るものだけを取り扱い、復元演算に使用するものは全て輝度成分のみである。こうする理由としては、演算回数が減少する事、そして、色合いが変化しない事に有る。本発明の方法は、Ｒ、Ｇ、Ｂ個別に復元した場合と比較して、超解像処理品質的に遜色が無い事を確認している。
【0052】
本発明において、ＰＳＦ、劣化画像及び復元画像はそれぞれ輝度成分から成るため、ＰＳＦをＰＳＦの輝度分布、劣化画像の輝度分布及び復元画像の推定輝度分布と呼んでいる。復元画像の正確な輝度分布は不明であるため、推定輝度分布と呼んでいる。本発明によるＴＶ映像向け加速超解像処理方法により画像復元すると、光学的劣化の無い状態に略収斂した状態になり、原画像と略遜色ないため、最尤復元画像の場合には輝度分布としている。
【0053】
図２は、本発明による第１の発明であるＴＶ映像向け加速超解像処理方法における処理手順の１例をフローチャートとして図示したものである。図２のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0054】
図２のＴＶ映像向け加速超解像処理方法は、（Ｓ１）最大反復演算回数１を設定する工程と、（Ｓ２）ＴＶ映像を見ながらＴＶ映像の劣化状況に適した劣化示数２を指定する劣化示数指定工程、（Ｓ３）劣化示数２に紐づいた第１番目のＰＳＦの輝度分布１４及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布３を準備するＰＳＦ準備工程、（Ｓ４）１フレーム分の輝度分布から成る劣化画像の輝度分布４を１フレーム分のＴＶ映像信号５から準備する劣化画像準備工程、（Ｓ５）劣化画像の輝度分布４を復元画像初期値の推定輝度分布６と成す復元画像初期値準備工程、（Ｓ６）１連のＰＳＦの輝度分布３は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズ７と呼ぶ時、このＰＳＦサイズ７を求めるＰＳＦサイズ取得工程、（Ｓ７）反復演算回数を計数するカウンターに１を設定する第１リセット工程、（Ｓ８）復元画像初期値の推定輝度分布６を複写してこれを補正復元画像初期値の推定輝度分布８と成し更に前記補正復元画像初期値の推定輝度分布８をＰＳＦサイズ７を基にして補正する第１復元画像初期値補正工程、（Ｓ９）１連のＰＳＦの輝度分布３からカウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布９と成すＰＳＦ選定工程、（Ｓ１０）補正復元画像初期値の推定輝度分布８にＰＳＦの輝度分布９を畳込み第１の関数を得る工程、（Ｓ１１）第１の関数を反転して第２の関数を得る工程、（Ｓ１２）第２の関数に劣化画像の輝度分布４を掛け合わせて第３の関数を得る工程と、（Ｓ１３）第３の関数を復元画像初期値の推定輝度分布６に掛け合わせて復元画像の推定輝度分布１０を得る工程と、（Ｓ１４）カウンターに１を加算する工程、（Ｓ１５）カウンターの値が最大反復演算回数１以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１６）の工程へ進むが、検証結果が真であれば、工程（Ｓ１８）へ進む工程、（Ｓ１６）復元画像の推定輝度分布１０を復元画像初期値の推定輝度分布６と入れ替える工程、（Ｓ１７）（Ｓ８）の工程へ戻る工程、（Ｓ１８）復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する工程、（Ｓ１９）（Ｓ１）〜（Ｓ７）の工程から構成される準備工程、（Ｓ２０）（Ｓ８）〜（Ｓ１８）の工程から構成される第１画像復元工程、を備え、（Ｓ２１）準備工程Ｓ１９及び第１画像復元工程Ｓ２０において、各工程のＳの添え数字が小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布１１を出力する第１加速超解像処理工程、（Ｓ２２）最尤復元画像の輝度分布１１を１フレーム分のＴＶ映像信号と成しこれを超解像ＴＶ映像信号１２として出力するＴＶ映像化工程、を備える事に特徴が有る。図２において、処理は、工程Ｓ１から開始され、工程Ｓ２２で終わる。図２のＴＶ映像向け加速超解像処理方法は１フレーム分の処理であるため、映像とするためには、図２に示す全工程をフレーム単位で連続的に実行する必要がある。
【0055】
第１画像復元工程Ｓ２０は、数式１に基づき反復演算を行い、劣化画像の輝度分布４から最尤復元画像の輝度分布１１を求める。数式１は、本発明者が発明し登録された特許文献２に記載された数式１５を実数処理且つ畳込み演算可能な様に且つ加速演算向けに書き改めたものである。数式１の方法は、特許文献２の数式１５の方法に比べて、ＰＳＦのフーリエ変換体であるＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）ではなくＰＳＦを用いており位相を考慮していないために演算精度が落ちるがＴＶ映像は像が判別不明な程にボケている事は稀なため、数式１に基づく方法で実用上問題無い。更に、数式１の方法は、同一のＰＳＦから出発した反復演算回数に見合った復元度合いのＰＳＦの輝度分布を用いる事により、括弧の中の演算結果をＰＳＦの反転関数に畳込むという特許文献２の数式１５の方法では必要であった演算を省略している。このため、工程数が４０％削減されるばかりか、加速度的演算が可能となり、僅か数回の反復演算で、略収斂状態（劣化前の状態に極めて近い状態）と遜色の無い最尤復元画像の輝度分布が得られる。
【0056】
【数1】
【0057】
数式１において、Ｆは復元画像の推定輝度分布を、Ｆの添え字はｋ番目の値である事を、Ｇは劣化画像の輝度分布を、ＨはＰＳＦの輝度分布を、Ｈの添え字はｋ番目の値である事を、丸中にアスタリスクのマークは畳込み演算を、それぞれ意味している。また、ｋは正の整数であり、ｋが１の時、Ｆ１は復元画像初期値の推定輝度分布を、Ｈ１は第１番目のＰＳＦの輝度分布を、ｋがｎの時には、Ｆｎはｎ回目の復元画像の推定輝度分布を、Ｈｎは第ｎ番目のＰＳＦの輝度分布を、それぞれ意味する。
【0058】
本発明はＴＶ映像を対象としており、ＴＶ映像は像が判別不明な程にボケている事は稀なため、数式１のＦの初期値の推定輝度分布Ｆ１には劣化画像の輝度分布Ｇを用いている。
【0059】
本発明で用いる畳込み演算とは畳込み積分の事で有る。数式２は、一般的な畳込み積分の演算式の１例であり、Ｆ（ｉ，ｊ）をＨ（Ｍ，Ｎ）に畳込み、その結果がＧ（ｉ，ｊ）である事を意味している。しかし、本発明では、有限サイズの画像の分布を対象とするため、データは離散値化しており、畳込み積分の演算には線形畳込みを用いる。数式３は、一般的な線形畳込み演算式の１例である。
【0060】
【数2】
【0061】
【数3】
【0062】
数式２〜３において、ｉ，ｊ，ｍ，ｎ、Ｍ及びＮは正の整数である。但し、数式２〜３による畳込み演算は、畳込み演算を行うＦまたはＨの大きなサイズの方に小さなサイズの方のサイズの半分を超えない最大の整数で表現できる除外領域が発生する。例えば、Ｆが１００ｘ１００画素以上のサイズで、Ｆに畳込むＨが３ｘ３画素サイズの場合にはＦの周辺１画素が除外領域となり、Ｆに畳込むＨが５ｘ５画素サイズの場合にはＦの周辺２画素が除外領域と成るという問題がある。
【0063】
そこで、本発明では、使用するＨのサイズに応じて除外領域の画素が周辺何画素であるのかを演算し、この除外領域に存在するＦの最外周の画素をＦの領域境界の外側にミラー対称にコピーアンドペーストして、新たに画素を作成し、その後、最外周の位置を変更する事により、つまり、Ｆの画像及びそのサイズを変更する事により、演算後に除外領域が発生しない様にしている。その際、上辺から右まわりに辺毎にコピーアンドペーストする事により、新たに発生した画素をＦ本来の画素に繰り込む事により、４隅にコピーアンドペーストされない領域が発生しない様にしている。例えば、Ｈが５ｘ５サイズでＦがＷｘＬサイズの場合、１回目のコピーアンドペーストでは、ＦはＷｘＬサイズからＷｘ（Ｌ＋２）サイズとなり、２回目のコピーアンドペーストでは、ＦはＷｘ（Ｌ＋２）サイズから（Ｗ＋２）ｘ（Ｌ＋２）サイズとなり、３回目のコピーアンドペーストでは、Ｆは（Ｗ＋２）ｘ（Ｌ＋２）サイズから（Ｗ＋２）ｘ（Ｌ＋４）サイズとなり、４回目のコピーアンドペーストでは、Ｆは（Ｗ＋２）ｘ（Ｌ＋４）サイズから（Ｗ＋４）ｘ（Ｌ＋４）サイズとなり、（Ｗ＋４）ｘ（Ｌ＋４）サイズ内の全ての画素が全て埋まった状態と成る。
【0064】
ＰＳＦ準備工程Ｓ３において、劣化示数２に紐づいた第１番目のＰＳＦの輝度分布１４は１回目の反復演算時に使用するためのものであり、第２番目のＰＳＦの輝度分布は２回目の反復演算時に使用するためのものであり、第ｎ番目のＰＳＦの輝度分布はｎ回目の反復演算時に使用するためのものである。第２番目のＰＳＦの輝度分布は第１番目のＰＳＦの輝度分布をＰＳＦ復元工程において復元したものであり、第３番目のＰＳＦの輝度分布は第２番目のＰＳＦの輝度分布をＰＳＦ復元工程において復元したものであり、第ｎ番目のＰＳＦの輝度分布は第ｎ−１番目のＰＳＦの輝度分布をＰＳＦ復元工程において復元したものである。このため、第２番目のＰＳＦの輝度分布以降は全て、劣化示数２に紐づいた第１番目のＰＳＦの輝度分布１４を根とするものであり、第１番目のＰＳＦの輝度分布１４の系であり、第１番目のＰＳＦの輝度分布１４〜第ｎ番目のＰＳＦの輝度分布１７は劣化示数２に紐づいた１連のＰＳＦの輝度分布３を形成している。
【0065】
図３は、本発明による第２の発明であるＰＳＦ準備工程Ｓ３の第２の態様Ｓ３−２における処理手順の１例をフローチャートとして図示したものである。図３のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0066】
図３のＰＳＦ準備工程Ｓ３の第２の態様Ｓ３−２は、（Ｓ３０）劣化示数２を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベース１３を検索し、ヒットしたＰＳＦの輝度分布９を第１番目のＰＳＦの輝度分布１４と成す工程、（Ｓ３１）数を計数する第２カウンターに１を入力してリセットする工程、（Ｓ３２）第１番目のＰＳＦの輝度分布１４をＰＳＦ初期値の輝度分布１５と成す工程、（Ｓ３３）第２カウンターに１を加算する工程、（Ｓ３４）第２カウンターの値が最大反復演算回数１を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ３５）の工程へ進み、もしも検証結果が真で有れば終了する工程、（Ｓ３５）ＰＳＦ初期値の輝度分布１５をＰＳＦ復元工程Ｓ６３により復元する事により最尤復元ＰＳＦの輝度分布１６を得る工程、（Ｓ３６）第２カウンターの値をｎとする時、最尤復元ＰＳＦの輝度分布１６を第ｎ番目のＰＳＦの輝度分布１７と成す工程、（Ｓ３７）（Ｓ３３）の工程へ戻る工程、（Ｓ３８）最大反復演算回数１をｎ＿ｍａｘとし、更にｎ＿ｍａｘ未満の自然数をｎとする時、第１番目のＰＳＦの輝度分布１４からｎ＿ｍａｘ番目のＰＳＦの輝度分布２５までをこの順番で連ねて１連のＰＳＦの輝度分布３とし、この１連のＰＳＦの輝度分布３に劣化示数２をラベルとして付け、劣化示数２に紐づいた１連のＰＳＦの輝度分布３と成す工程、から構成される事に特徴が有る。
【0067】
図４は、本発明による第３の発明であるＰＳＦ準備工程Ｓ３の第３の態様Ｓ３−３における処理手順の１例をフローチャートとして図示したものである。図４のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0068】
図４のＰＳＦ準備工程Ｓ３の第３の態様Ｓ３−３は、（Ｓ４０）最大反復演算回数１を５に設定する工程、（Ｓ４１）ＰＳＦデータベース１３内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前にＰＳＦ準備工程を実行して、劣化示数毎に１連のＰＳＦの輝度分布３を得、これ等の劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベース１８を準備する工程、（Ｓ４２）劣化示数２を用いて拡大ＰＳＦデータベース１８を検索しヒットした１連のＰＳＦの輝度分布３を取得する工程、から構成される事に特徴が有る。
【0069】
図５は、本発明による第４の発明であるＰＳＦ復元工程Ｓ６３における処理手順の１例をフローチャートとして図示したものである。図５のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0070】
図５のＰＳＦ復元工程Ｓ６４は、（Ｓ５０）最大反復演算回数１に６を代入する工程、（Ｓ５１）ＰＳＦ初期値の輝度分布１５を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布１９と成す工程、（Ｓ５２）ＰＳＦ初期値の輝度分布１５を復元ＰＳＦ初期値の推定輝度分布２０と成す工程、（Ｓ５３）カウンターに１を代入してリセットする工程、（Ｓ５４）復元ＰＳＦ初期値の推定輝度分布２０を補正復元ＰＳＦ初期値の推定輝度分布２１と成し更にＰＳＦ初期値の輝度分布１５を補正復元ＰＳＦ初期値の推定輝度分布２１に畳込み演算する際に補正復元ＰＳＦ初期値の推定輝度分布２１の周辺部に発生する演算困難領域を、ＰＳＦ初期値の輝度分布１５の画像サイズを基にして計算し、上辺境界に関する演算困難領域の画素をコピーし、このコピーした画素を補正復元ＰＳＦ初期値の推定輝度分布２１の上辺境界の外側に上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、補正復元ＰＳＦ初期値の推定輝度分布２１を補正する復元ＰＳＦ初期値補正工程、（Ｓ５５）ＰＳＦ初期値の輝度分布１５を補正復元ＰＳＦ初期値の推定輝度分布２１に畳込み第４の関数を得る工程、（Ｓ５６）第４の関数を反転して第５の関数を得る工程、（Ｓ５７）第５の関数を劣化ＰＳＦの輝度分布１９に掛け合わせて第６の関数を得る工程、（Ｓ５８）第６の関数を復元ＰＳＦ初期値の推定輝度分布２０に掛け合わせて復元ＰＳＦの推定輝度分布２２を得る工程、（Ｓ５９）カウンターに１を加算する工程、（Ｓ６０）カウンターの値が最大反復演算回数１を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ６１）の工程へ進み、もしも検証結果が真で有れば、（Ｓ６３）の工程へジャンプする工程、（Ｓ６１）復元ＰＳＦの推定輝度分布２２を復元ＰＳＦ初期値の推定輝度分布２０と入れ替える工程、（Ｓ６２）（Ｓ５４）の工程へジャンプする工程、（Ｓ６３）復元ＰＳＦの推定輝度分布２２を最尤復元ＰＳＦの輝度分布１６として出力する工程、を備える事に特徴が有る。
【0071】
図６は、本発明による第５の発明である第１復元画像初期値補正工程Ｓ８における処理手順の１例をフローチャートとして図示したものである。図６のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0072】
図６の第１復元画像初期値補正工程Ｓ８は、（Ｓ７０）復元画像初期値の推定輝度分布６を補正復元画像初期値の推定輝度分布８と成す工程、（Ｓ７１）ＰＳＦサイズ７を基に１連のＰＳＦの輝度分布３の内いずれか１つを補正復元画像初期値の推定輝度分布８に畳込み演算する際に補正復元画像初期値の推定輝度分布８の周辺部に発生する演算困難領域を計算する工程、（Ｓ７２）補正復元画像初期値の推定輝度分布８の演算困難領域内の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布８の４辺に対してミラー対称に成る様にそれぞれ反転させ更に補正復元画像初期値の推定輝度分布８の４辺の境界の外側に配置する様にペーストして補正する工程、（Ｓ７３）補正復元画像初期値の推定輝度分布８の演算困難領域内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の左上隅部に発生する空白領域に、ペーストして補正する工程、（Ｓ７４）補正復元画像初期値の推定輝度分布８の演算困難領域内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の右上隅部に発生する空白領域に、ペーストして補正する工程、（Ｓ７５）補正復元画像初期値の推定輝度分布８の演算困難領域内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の左下隅部に発生する空白領域に、ペーストして補正する工程、（Ｓ７６）補正復元画像初期値の推定輝度分布８の演算困難領域内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の右下隅部に発生する空白領域に、ペーストして補正する工程を備える事に特徴が有る。
【0073】
図７は、本発明による第６の発明である第１画像復元工程Ｓ２０の第２の態様としての第２画像復元工程Ｓ８８における処理手順の１例をフローチャートとして図示したものである。図７のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0074】
図７の第２画像復元工程Ｓ８８は、（Ｓ８０）最大反復演算回数１をｎ＿ｍａｘとし、更にｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布３のうち、第ｎ番目のＰＳＦの輝度分布１７をＰＳＦの輝度分布９として第ｎ段目の第１単分画像復元工程Ｓ８１−ｎに提供するＰＳＦ提供工程、（Ｓ８１）ＰＳＦの輝度分布９、復元画像初期値の推定輝度分布６及び劣化画像の輝度分布４から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、劣化画像の輝度分布４に最も尤らしい復元画像の推定輝度分布１０を求めこれを出力する第１単分画像復元工程、この第１単分画像復元工程Ｓ８１は、（Ｓ８２）ＰＳＦサイズ７に基づき復元画像初期値の推定輝度分布６を補正して補正復元画像初期値の推定輝度分布８を求める第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程、（Ｓ８３）ＰＳＦの輝度分布９を補正復元画像初期値の推定輝度分布８に畳込み第７の関数を得る工程、（Ｓ８４）第７の関数を反転して第８の関数を得る工程、（Ｓ８５）第８の関数を劣化画像の輝度分布４に掛け合わせて第９の関数を得る工程、（Ｓ８６）第９の関数を復元画像初期値の推定輝度分布６に掛け合わせて復元画像の推定輝度分布１０を得る工程、（Ｓ８７）復元画像の推定輝度分布１０を出力する工程を備え、（Ｓ８８）第ｎ段目の第１単分画像復元工程Ｓ８１−ｎの（Ｓ８７）の工程の出力を第（ｎ＋１）段目の第１単分画像復元工程Ｓ８１−（ｎ＋１）の（Ｓ８２）の工程に接続する事により構成されるｎ＿ｍａｘ段の直列連結体から成る第２画像復元工程、であり、この第２画像復元工程Ｓ８８において、直列接続された第１単分画像復元工程Ｓ８１の数であるｎ＿ｍａｘ回の反復演算を行い、ｎ＿ｍａｘ段目の第１単分画像復元工程Ｓ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する事に特徴が有る。
【0075】
図７の第２画像復元工程Ｓ８８は、第１単分画像復元工程Ｓ８１と同じ構成から成る１段目の第１単分画像復元工程Ｓ８１−１、第１単分画像復元工程Ｓ８１と同じ構成から成る２段目の第１単分画像復元工程Ｓ８１−２、第１単分画像復元工程Ｓ８１と同じ構成から成るｎ段目の第１単分画像復元工程Ｓ８１−ｎ及び第１単分画像復元工程Ｓ８１と同じ構成から成るｎ＿ｍａｘ段目の第１単分画像復元工程Ｓ８１−ｎ＿ｍａｘが直列に接続されて構成されている。３段目の第２単分画像復元工程Ｓ７０−３〜最終段の１段前の第１単分画像復元工程Ｓ８１−（ｎ＿ｍａｘ−１）は２段目と同じ接続様式のために省略されている。
【0076】
第２画像復元工程Ｓ８８において、第１段目の第１単分画像復元工程Ｓ８１−１〜第ｎ＿ｍａｘ段目の第ｎ＿ｍａｘ単分画像復元工程Ｓ８８−ｎ＿ｍａｘの工程Ｓ８３と同等の工程が、ＰＳＦ提供工程Ｓ８０が提供する段数に適合したＰＳＦの輝度分布９を読込む。例えば、第１段目の第１単分画像復元工程Ｓ８１−１であれば第１番目のＰＳＦの輝度分布１４を、第２段目の第１単分画像復元工程Ｓ８１−２であれば第２番目のＰＳＦの輝度分布２４を、第ｎ段目の第１単分画像復元工程Ｓ８１−ｎであれば第ｎ番目のＰＳＦの輝度分布１７を、第ｎ＿ｍａｘ段目の第１単分画像復元工程Ｓ８１−ｎ＿ｍａｘであれば第ｎ＿ｍａｘ番目のＰＳＦの輝度分布２５を、それぞれ読込む。
【0077】
第２画像復元工程Ｓ８８において、第１段目の第１単分画像復元工程Ｓ８１−１〜第ｎ＿ｍａｘ段目の第ｎ＿ｍａｘ単分画像復元工程Ｓ８８−ｎ＿ｍａｘの工程Ｓ８５と同等の工程が、劣化画像の輝度分布４を準備工程Ｓ１９の劣化画像準備工程Ｓ４から読込む。また、第１段目の第１単分画像復元工程Ｓ８１−１の工程Ｓ８２と同等の工程が復元画像初期値準備工程Ｓ５から復元画像初期値の推定輝度分布６を読込む。第ｎ段目の第１単分画像復元工程Ｓ８１−ｎ （２≦ｎ≦）の工程Ｓ８２と同等の工程は前段の第（ｎ−１）段目の第１単分画像復元工程Ｓ８１−（ｎ−１） （２≦ｎ≦）の工程Ｓ８７と同等の工程が出力する復元画像の推定輝度分布１０を読込む。また、第ｎ＿ｍａｘ単分画像復元工程Ｓ８８−ｎ＿ｍａｘの工程Ｓ８７と同等の工程は、復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する。また、図７の第２画像復元工程Ｓ８８は、最大反復演算回数１と同じ回数分の第２単分画像復元工程Ｓ８１を直列接続すれば、図２の第１画像復元工程Ｓ２０と同等の復元能力を有する。
【0078】
図８は、本発明による第７の発明である第３画像復元工程Ｓ１０７における処理手順の１例をフローチャートとして図示したものである。図８のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0079】
図８の第３画像復元工程Ｓ１０７は、（Ｓ９０）カウンターに０を代入する事によりリセットする工程、（Ｓ９１）第２カウンターに１を代入する事によりリセットする工程、（Ｓ９２）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ９３）の工程へ進み、もしも検証結果が真であれば（Ｓ９６）の工程へジャンプする工程、（Ｓ９３）劣化画像の輝度分布４を劣化画像保存用バッファー２６及び復元画像初期値用バッファー２７に転送する工程、（Ｓ９４）（Ｓ９６）の工程へジャンプする工程、（Ｓ９５）（Ｓ１０２）の工程の復元画像の推定輝度分布１０を復元画像初期値用バッファー２７に転送する工程、（Ｓ９６）第２カウンターの値をｍとする時、１連のＰＳＦ３の内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布９と成す工程、（Ｓ９７）復元画像初期値用バッファー２７から復元画像初期値の推定輝度分布６を読込む工程、（Ｓ９８）ＰＳＦサイズ７に基づき復元画像初期値の推定輝度分布６を補正しこれを補正復元画像初期値の推定輝度分布８と成す第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程、（Ｓ９９）ＰＳＦの輝度分布９を補正復元画像初期値の推定輝度分布８に畳込み第１０の関数を得る工程、（Ｓ１００）第１０の関数を反転して第１１の関数を得る工程、（Ｓ１０１）劣化画像の輝度分布４を劣化画像保存用バッファー２６から読込これに第１１の関数を掛け合わせて第１２の関数を得る工程、（Ｓ１０２）第１２の関数を復元画像初期値の推定輝度分布６に掛け合わせて復元画像の推定輝度分布１０を得る工程、（Ｓ１０３）カウンターに１を加算する工程、（Ｓ１０４）第２カウンターに１を加算する工程、（Ｓ１０５）カウンターの値が最大反復演算回数１を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ９５）の工程へジャンプし、もしも検証結果が真であれば（Ｓ１０６）の工程へ進む工程、（Ｓ１０６）復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する工程、を備え、（Ｓ１０７）各工程のＳの添え数字の小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤化された最尤復元画像を出力する第３画像復元工程、である事に特徴が有る。
【0080】
図９は、本発明による第８の発明である劣化画像準備工程Ｓ４における処理手順の１例をフローチャートとして図示したものである。図９のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0081】
図９の劣化画像準備工程Ｓ４は、（Ｓ１１０）１フレーム分のＴＶ映像信号１５からフレームを構成するＲＧＢ信号２８を取り出すＲＧＢ信号抽出工程、（Ｓ１１１）１フレーム分のＴＶ映像信号１５の内、ＲＧＢ信号２８を取り出した残りのＴＶ映像信号２９を１フレーム分遅延して出力する遅延工程、（Ｓ１１２）ＲＧＢ信号２８をＹＵＶ変換してＹＵＶ信号３０と成すＹＵＶ変換工程、（Ｓ１１３）ＹＵＶ信号３０の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布４を抽出してＹ劣化画像の輝度分布３１と成し、残りのＵ信号のみから成るＵ劣化画像の分布３２及びＶ信号のみから成るＶ劣化画像の分布３３を保持するＹ劣化画像抽出工程、（Ｓ１１４）Ｙ劣化画像の輝度分布３１のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布４と成し出力するデガンマ処理工程、を備える事に特徴が有る。
【0082】
図１０は、本発明による第９の発明であるＴＶ映像化工程Ｓ２２における処理手順の１例をフローチャートとして図示したものである。図１０のフローチャートにおいて、工程番号を内包する白抜きの四角形は判断工程以外の工程を、工程番号を内包する白抜きのひし形は判断工程を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合及び開始及び終了を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0083】
図１０のＴＶ映像化工程Ｓ２２は、（Ｓ１２０）最尤復元画像の輝度分布１１のガンマ処理を行うガンマ処理工程、（Ｓ１２１）Ｙ劣化画像抽出工程Ｓ１１３で保持したＵ劣化画像の分布３２及びＶ劣化画像の分布３３とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布１１から１枚のＹＵＶ復元画像の分布３４を合成する復元画像合成工程、（Ｓ１２２）ＹＵＶ復元画像の分布３４のＲＧＢ変換を行いＲＧＢ復元画像の分布３５と成すＲＧＢ変換工程、（Ｓ１２３）ＲＧＢ復元画像の分布３５を読み取りＲＧＢ信号３６を出力するＲＧＢ信号変換工程、（Ｓ１２４）ＲＧＢ信号３６を遅延工程Ｓ１１１が出力する残りのＴＶ映像信号２９と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号１２と成し出力するＴＶ映像信号合成工程、を備える事に特徴が有る。
【0084】
図１１は、本発明による第１０の発明であるＰＳＦの輝度分布９の１例を図示したものである。図１１のＰＳＦの輝度分布９は、縁の無い正方形状の同一サイズの画素から成るものであって、その輝度分布は中心が最も明るい２次元正規分布であり、そのサイズが５ｘ５画素である事に特徴が有る。ＰＳＦの輝度分布９は２次元正規分布のため、点対称性を有しており、シフトインバリアントである。
【0085】
本発明による第１１の発明である第１加速超解像処理プログラム３７は、準備工程Ｓ１９及び第１画像復元工程Ｓ２０内の全ての工程を仮想的に作成すると共にこれ等の工程の処理手順を記述したものである。
【0086】
本発明による第１２の発明である第２加速超解像処理プログラム３８は、準備工程Ｓ１９及び第２画像復元工程Ｓ８８内の全ての工程を仮想的に作成すると共にこれ等の工程の処理手順を記述したものである。
【0087】
本発明による第１３の発明である第３加速超解像処理プログラム３９は、準備工程Ｓ１９及び第３画像復元工程Ｓ１０７内の全ての工程を仮想的に作成すると共にこれ等の工程の処理手順を記述したものである。
【0088】
本発明による第１４の発明は、第１加速超解像処理プログラム３７、第２加速超解像処理プログラム３８及び第３加速超解像処理プログラム３９は、いずれも暗号化されたものであり、これ等暗号化された第１加速超解像処理プログラム３７、第２加速超解像処理プログラム３８及び第３加速超解像処理プログラム３９を記憶すると共にコンピュータに接続可能で且つコンピュータに読み込ませる事が可能な事に特徴がある第１記憶媒体４６である。
【0089】
図１２は、本発明による第１５の発明であるＴＶ映像向け加速超解像処理装置４０の構成に関する１例を図示したものである。図１２において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0090】
図１２のＴＶ映像向け加速超解像処理装置４０は、（Ｗ１）最大反復演算回数１を設定する手段、（Ｗ２）ＴＶ映像を見ながらＴＶ映像の劣化状況に適した劣化示数２を指定する劣化示数指定手段、（Ｗ３）劣化示数２に紐づいた第１番目のＰＳＦの輝度分布１４及びこの系から成り反復演算回数に紐づいて整理された１連のＰＳＦの輝度分布３を準備するＰＳＦ準備手段、（Ｗ４）１フレーム分の輝度分布から成る劣化画像の輝度分布４を１フレーム分のＴＶ映像信号５から準備する劣化画像準備手段、（Ｗ５）劣化画像の輝度分布４を復元画像初期値の推定輝度分布６と成す復元画像初期値準備手段、（Ｗ６）１連のＰＳＦの輝度分布３は互いに同じ画像サイズであり、この画像サイズをＰＳＦサイズ７と呼ぶ時、このＰＳＦサイズ７を求めるＰＳＦサイズ取得手段、（Ｗ７）反復演算回数を計数するカウンターに１を設定する第１リセット手段、（Ｗ８）復元画像初期値の推定輝度分布６を複写してこれを補正復元画像初期値の推定輝度分布８と成し更に補正復元画像初期値の推定輝度分布８をＰＳＦサイズ７を基にして補正する第１復元画像初期値補正手段、（Ｗ９）１連のＰＳＦの輝度分布３からカウンターの値に紐づいた１つを選択してこれをＰＳＦの輝度分布９と成すＰＳＦ選定手段、（Ｗ１０）補正復元画像初期値の推定輝度分布８にＰＳＦの輝度分布９を畳込み第１３の関数を得る手段、（Ｗ１１）第１３の関数を反転して第１４の関数を得る手段、（Ｗ１２）第１４の関数に劣化画像の輝度分布４を掛け合わせて第１５の関数を得る手段、（Ｗ１３）第１５の関数を復元画像初期値の推定輝度分布６に掛け合わせて復元画像の推定輝度分布１０を得る手段、（Ｗ１４）カウンターに１を加算する手段、（Ｗ１５）カウンターの値が最大反復演算回数１以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１６）の手段へ進むが、検証結果が真であれば、手段（Ｗ１８）へ進む手段、（Ｗ１６）復元画像の推定輝度分布１０を復元画像初期値の推定輝度分布６と入れ替える手段、（Ｗ１７）（Ｗ８）の手段へ戻る手段、（Ｗ１８）復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する手段、（Ｗ１９）（Ｗ１）〜（Ｗ７）の手段から構成される準備手段、（Ｗ２０）（Ｗ８）〜（Ｗ１８）の手段から構成される第１画像復元手段、を備え、（Ｗ２１）準備手段Ｗ１９及び第１画像復元手段Ｗ２０において、手段のＷの添え数字が小さい順に順番通りに実行する事により最大反復演算回数１の反復演算を終え、最尤復元画像の輝度分布１１を出力する第１加速超解像処理手段、（Ｗ２２）最尤復元画像の輝度分布１１を１フレーム分のＴＶ映像信号４１と成しこれを超解像ＴＶ映像信号１２として出力するＴＶ映像化手段、を備える事に特徴が有る。
【0091】
図１３は、本発明による第１６の発明であるＰＳＦ準備手段Ｗ３の第２の態様Ｗ３−２の構成に関する１例を図示したものである。図１３において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0092】
図１３のＰＳＦ準備手段Ｗ３の第２の態様Ｗ３−２は、（Ｗ３０）劣化示数２を検索情報として、劣化示数に対してＰＳＦの輝度分布を１対１で紐づけて整理して作成されたＰＳＦデータベース１３を検索し、ヒットしたＰＳＦの輝度分布９を第１番目のＰＳＦの輝度分布１４と成す手段、（Ｗ３１）数を計数する第２カウンターに１を入力してリセットする手段、（Ｗ３２）第１番目のＰＳＦの輝度分布１４をＰＳＦ初期値の輝度分布１５と成す手段、（Ｗ３３）第２カウンターに１を加算する手段、（Ｗ３４）第２カウンターの値が最大反復演算回数１を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ３５）の手段へ進み、もしも検証結果が真で有れば（Ｗ３８）の手段へジャンプする手段、（Ｗ３５）ＰＳＦ初期値の輝度分布１５をＰＳＦ復元手段Ｗ６３により復元する事により最尤復元ＰＳＦの輝度分布１６を得る手段、（Ｗ３６）第２カウンターの値をｎとする時、最尤復元ＰＳＦの輝度分布１６を第ｎ番目のＰＳＦの輝度分布１７と成す手段、（Ｗ３７）（Ｗ３３）の手段へ戻る手段、（Ｗ３８）最大反復演算回数をｎ＿ｍａｘとし、更にｎ＿ｍａｘ未満の自然数をｎとする時、第１番目のＰＳＦの輝度分布１４からｎ＿ｍａｘ番目のＰＳＦの輝度分布２５までをこの順番で連ねて１連のＰＳＦの輝度分布とし、この１連のＰＳＦの輝度分布に劣化示数２をラベルとして付け、劣化示数に紐づいた１連のＰＳＦの輝度分布３と成す１連のＰＳＦの輝度分布作成工程、から構成される事に特徴が有る。
【0093】
図１３の１連のＰＳＦの輝度分布作成工程Ｗ３８は、例えば、劣化示数２をＢＦという整数型変数で表わし、第ｎ番目の輝度分布１７ （１≦ｎ≦ｎ＿ｍａｘ）の画像ファイル名をＰＳＦ＿ＢＦ＿ｎ.ｂｍｐと表わし、文字型２次元配列名をＳＰＳＦとすると、第ｎ番目の輝度分布１７をＷ３６の手段から受取、ＢＦとｎからＰＳＦ＿ＢＦ＿ｎ.ｂｍｐというファイル名を作り、このファイル名を付けて第ｎ番目の輝度分布１７をコンピュータの大容量記憶手段、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に記憶する一方で、ファイル名をＳＰＳＦ（ＢＦ，ｎ）という配列に記憶する事で１連のＰＳＦの輝度分布３が作成できる。
【0094】
図１４は、本発明による第１７の発明であるＰＳＦ準備手段Ｗ３の第３の態様Ｗ３−３の構成に関する１例を図示したものである。図１４において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0095】
図１４のＰＳＦ準備手段Ｗ３の第３の態様Ｗ３−３は、（Ｗ４０）最大反復演算回数１を５に設定する手段、（Ｗ４１）ＰＳＦデータベース１３内の全ての劣化示数とこれに紐づいたＰＳＦの輝度分布のペア全てに対して事前にＰＳＦ準備手段Ｗ３を実行して、劣化示数毎に１連のＰＳＦの輝度分布を得、これ等の劣化示数毎の１連のＰＳＦの輝度分布を編集する事によって、劣化示数に対して１連のＰＳＦの輝度分布を紐づけて整理した拡大ＰＳＦデータベース１８を準備する手段、（Ｗ４２）劣化示数２を用いて拡大ＰＳＦデータベース１８を検索しヒットした１連のＰＳＦの輝度分布３を取得しこれを出力する手段、から構成される事に特徴が有る。
【0096】
図１５は、本発明によるＰＳＦデータベース１３内のデータの１例を図示したものである。図１５のＰＳＦデータベース１３は、ＣＳＶ形式の表で有り、ＨＤＤに保存されている。ＰＳＦデータベース１３には、２５６段階の劣化示数２が左から第１列目に記載され、各劣化示数２に対応するＰＳＦの輝度分布９の画像ファイル名２３がパスとして左から第２列目に記載されている。ＰＳＦの輝度分布９の画像ファイルはＨＤＤ内のＣドライブ中のＰＳＦというディレクトリの下に存在し、ＰＳＦの輝度分布９の画像ファイル名は劣化示数２に対応している。例えば、劣化示数２が１の場合、ＰＳＦデータベース１３の1番上の行のＰＳＦの輝度分布９の画像ファイル名Ｃ：￥ＰＳＦ￥ＰＳＦ＿１．ｂｍｐが劣化示数２に紐づいたＰＳＦの輝度分布９の画像ファイルの記憶場所を示している。例えば、Ｗ３０の手段は、劣化示数２を検索情報としてＰＳＦデータベース１３を検索し、劣化示数２に紐づいたＰＳＦの輝度分布９の画像ファイル名を取得し、このＰＳＦの輝度分布９の画像ファイル名に対応するＰＳＦの輝度分布９をＨＤＤから読み出す事により取得する。ＰＳＦデータベース１３は、ＣＳＶ形式以外にも２次元配列として定義する事も可能である。
【0097】
図１６は、本発明による拡大ＰＳＦデータベース１８内のデータの１例を図示したものである。図１６の拡大ＰＳＦデータベース１８は、ＣＳＶ形式の表で有り、ＨＤＤに保存されている。拡大ＰＳＦデータベース１８には、２５６段階の劣化示数２が左から第１列目に記載され、各劣化示数２に対応するＰＳＦの輝度分布９の画像ファイル名２３がパスとして左から第２列目以降に記載されている。左から第２列目以降の列は反復演算回数に紐づいたものであり、左から第２列目には反復演算回数１が１のものが記載され、左から第３列目には反復演算回数１が２のものが記載され、最後の列には反復演算回数がｎ＿ｍａｘのものが記載されている。ＰＳＦの輝度分布９の画像ファイルはＨＤＤ内のＣドライブ中のＳＰＳＦというディレクトリの下に存在し、ＰＳＦの輝度分布９の画像ファイル名は劣化示数２及び反復演算回数１に対応している。例えば、劣化示数２が１で反復演算回数が１の場合、拡大ＰＳＦデータベース１８の１番上の行の左から２番目の欄のＰＳＦの輝度分布９の画像ファイル名２３であるＣ：￥ＳＰＳＦ￥ＳＰＳＦ＿１＿１．ｂｍｐが劣化示数２且つ反復演算回数が１に紐づいたＰＳＦの輝度分布９の画像ファイルの記憶場所を示している。例えば、Ｗ４２の手段は、劣化示数２を検索情報として拡大ＰＳＦデータベース１８を検索し、劣化示数２に紐づいた拡大ＰＳＦデータベース１８内の行を特定し、その行内のＰＳＦの輝度分布９の画像ファイル名を反復演算回数が１に対応する欄から順に最後の反復演算回数がｎ＿ｍａｘの欄のものまで取得し、ＳＰＳＦ（ＢＦ，ｎ）という２次元配列に記憶する事により１連のＰＳＦの輝度分布３を取得する。ＳＰＳＦ（ＢＦ，ｎ）は、文字型２次元配列であり、ＢＦが劣化示数２を意味する変数であり、ｎが反復演算回数を意味する変数である。次に、Ｗ９の手段は、劣化示数２をＢＦとして、反復演算回数をｎとして、ＳＰＳＦ（ＢＦ，ｎ）からＰＳＦの輝度分布９の画像ファイル名２３を取得し、このＰＳＦの輝度分布９の画像ファイル名２３に対応するＰＳＦの輝度分布９をＨＤＤから読み出す事により取得する。拡大ＰＳＦデータベース１８は、ＣＳＶ形式以外にも２次元配列として定義する事も可能である。
【0098】
図１７は、本発明による第１８の発明であるＰＳＦ復元手段の構成に関する１例を図示したものである。図１７において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0099】
図１７のＰＳＦ復元手段は、（Ｗ５０）最大反復演算回数１に６を代入する手段、（Ｗ５１）ＰＳＦ初期値の輝度分布１５を劣化した画像の輝度分布と捉え劣化ＰＳＦの輝度分布１９と成す手段、（Ｗ５２）ＰＳＦ初期値の輝度分布１５を復元ＰＳＦ初期値の推定輝度分布２０と成す手段、（Ｗ５３）カウンターに１を代入してリセットする手段、（Ｗ５４）復元ＰＳＦ初期値の推定輝度分布２０を補正復元ＰＳＦ初期値の推定輝度分布２１と成し、更にＰＳＦ初期値の輝度分布１５を補正復元ＰＳＦ初期値の推定輝度分布２１に畳込み演算する際に補正復元ＰＳＦ初期値の推定輝度分布２１の周辺部に発生する演算困難領域を、ＰＳＦ初期値の輝度分布１５の画像サイズを基にして計算し、上辺境界に関する演算困難領域の画素をコピーし、このコピーした画素を補正復元ＰＳＦ初期値の推定輝度分布２１の上辺境界の外側に上辺境界に対してミラー対称に成る様に配置する様にペーストし、同様にして右回りに右辺次に下辺最後に左辺に関して行い、補正復元ＰＳＦ初期値の推定輝度分布２１を補正する復元ＰＳＦ初期値補正手段、（Ｗ５５）ＰＳＦ初期値の輝度分布１５を補正復元ＰＳＦ初期値の推定輝度分布２１に畳込み第１６の関数を得る手段、（Ｗ５６）第１６の関数を反転して第１７の関数を得る手段、（Ｗ５７）第１７の関数を劣化ＰＳＦの輝度分布１９に掛け合わせて第１８の関数を得る手段、（Ｗ５８）第１８の関数を復元ＰＳＦ初期値の推定輝度分布２０に掛け合わせて復元ＰＳＦの推定輝度分布２２を得る手段、（Ｗ５９）カウンターに１を加算する手段、（Ｗ６０）カウンターの値が最大反復演算回数１を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ６１）の手段へジャンプし、もしも検証結果が真で有れば、（Ｗ６３）の手段へジャンプする手段、（Ｗ６１）復元ＰＳＦの推定輝度分布２２を復元ＰＳＦ初期値の推定輝度分布２０と入れ替える手段、（Ｗ６２）（Ｗ５４）の手段へジャンプする手段、（Ｗ６３）復元ＰＳＦの推定輝度分布２２を最尤復元ＰＳＦの輝度分布１６として出力する手段、を備える事に特徴がある。
【0100】
図１８は、本発明による第１９の発明である第１復元画像初期値補正手段の構成に関する１例を図示したものである。図１８において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0101】
図１８の第１復元画像初期値補正手段Ｗ８は、（Ｗ７０）復元画像初期値の推定輝度分布６を補正復元画像初期値の推定輝度分布８と成す手段、（Ｗ７１）ＰＳＦサイズ７を基に１連のＰＳＦの輝度分布３の内いずれか１つを補正復元画像初期値の推定輝度分布８に畳込み演算する際に補正復元画像初期値の推定輝度分布８の周辺部に発生する演算困難領域４２を計算する手段、（Ｗ７２）補正復元画像初期値の推定輝度分布８の演算困難領域４２内の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布８の４辺に対してミラー対称に成る様にそれぞれ反転させ更に補正復元画像初期値の推定輝度分布８の４辺の境界の外側に配置する様にペーストして補正する手段、（Ｗ７３）補正復元画像初期値の推定輝度分布８の演算困難領域４２内の左上隅部の画素をコピーし、このコピーした左上隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の左上隅部に発生する空白領域に、ペーストして補正する手段、（Ｗ７４）補正復元画像初期値の推定輝度分布８の演算困難領域４２内の右上隅部の画素をコピーし、このコピーした右上隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の右上隅部に発生する空白領域に、ペーストして補正する手段、（Ｗ７５）補正復元画像初期値の推定輝度分布８の演算困難領域４２内の左下隅部の画素をコピーし、このコピーした左下隅部の画素を左上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の左下隅部に発生する空白領域に、ペーストして補正する手段、（Ｗ７６）補正復元画像初期値の推定輝度分布８の演算困難領域４２内の右下隅部の画素をコピーし、このコピーした右下隅部の画素を右上隅の頂点を回転中心として１８０度回転させ、補正復元画像初期値の推定輝度分布８の右下隅部に発生する空白領域に、ペーストして補正する手段、を備える事に特徴が有る。
【0102】
図１９は、第１復元画像初期値補正手段Ｗ８による復元画像初期値の推定輝度分布６の周辺部に発生する演算困難領域４２の補正の１例を図示したものである。図１９は、Ｗ７０〜７２の手段によって復元画像初期値の推定輝度分布６から補正復元画像初期値の推定輝度分布８が生成された状態を示している。この状態では、補正復元画像初期値の推定輝度分布８の４隅に空白部が存在する。Ｗ７３により、補正復元画像初期値の推定輝度分布８の左上隅の空白部は、復元画像初期値の推定輝度分布６の演算困難領域４２の左上隅部の画素をコピーし、このコピーした領域を左上隅の頂点を回転中心として１８０度回転させ、ペーストする事により補われ、補正される。
【0103】
図２０は、本発明による第２０の発明である第１画像復元手段Ｗ２０の第２の態様としての第２画像復元手段Ｗ８８の構成に関する１例を図示したものである。図２０において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0104】
図２０の第２画像復元手段Ｗ８８は、（Ｗ８０）最大反復演算回数１をｎ＿ｍａｘとし、更にｎ＿ｍａｘ未満の自然数をｎとする時、１連のＰＳＦの輝度分布３うち、第ｎ番目のＰＳＦの輝度分布１７をＰＳＦの輝度分布９として第ｎ段目の第１単分画像復元手段Ｗ８１−ｎに提供するＰＳＦ提供手段、（Ｗ８１）ＰＳＦの輝度分布９、復元画像初期値の推定輝度分布６及び劣化画像の輝度分布４から、Ｂａｙｓｅ確率論的数式に基づく反復演算の内の１回分に相当する演算を行い、劣化画像の輝度分布４に最も尤らしい復元画像の推定輝度分布１０を求めこれを出力する第１単分画像復元手段、を備え、この第１単分画像復元手段Ｗ８１は、（Ｗ８２）第１復元画像初期値補正手段Ｗ８と同じ構成から成る第２復元画像初期値補正手段により補正復元画像初期値の推定輝度分布８を求め、（Ｗ８３）ＰＳＦの輝度分布９を補正復元画像初期値の推定輝度分布８に畳込み第１９の関数を得る手段、（Ｗ８４）第１９の関数を反転して第２０の関数を得る手段、（Ｗ８５）第２０の関数を劣化画像の輝度分布に掛け合わせて第２１の関数を得る手段、（Ｗ８６）第２１の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布１０を得る手段、（Ｗ８７）復元画像の推定輝度分布１０を出力する手段、を備え、（Ｗ８８）第ｎ段目の第１単分画像復元手段Ｗ８１−ｎの（Ｗ８７）の手段の出力を第（ｎ＋１）段目の第１単分画像復元手段Ｗ８１−（ｎ＋１）の（Ｗ８２）の手段に接続する事により構成されるｎ＿ｍａｘ段の直列連結体から成る第２画像復元手段、であり、この第２画像復元手段Ｗ８８において、直列接続された第１単分画像復元手段Ｗ８１の数であるｎ＿ｍａｘ回の反復演算を行い、ｎ＿ｍａｘ段目の第１単分画像復元手段Ｗ８１−ｎ＿ｍａｘから出力される復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する事に特徴が有る。
【0105】
図２１は、本発明による第２１の発明である第１画像復元手段Ｗ２０の第３の態様としての第３画像復元手段Ｗ１０７の構成に関する１例を図示したものである。図２１において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0106】
図２１の第３画像復元手段Ｗ１０７は、（Ｗ９０）カウンターに０を代入する事によりリセットする手段、（Ｗ９１）第２カウンターに１を代入する事によりリセットする手段、（Ｗ９２）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ９３）の手段へ進み、もしも検証結果が真であれば（Ｗ９６）の手段へジャンプする手段、（Ｗ９３）劣化画像の輝度分布４を劣化画像保存用バッファー２６及び復元画像初期値用バッファー２７に転送する手段、（Ｗ９４）（Ｗ９６）の手段へジャンプする手段、（Ｗ９５）（Ｗ１０２）の手段の復元画像の推定輝度分布１０を復元画像初期値用バッファー２７に転送する手段、（Ｗ９６）第２カウンターの値をｍとする時、１連のＰＳＦの輝度分布３内の第ｍ番目のＰＳＦの輝度分布をＰＳＦの輝度分布９と成す手段、（Ｗ９７）復元画像初期値用バッファー２７から復元画像初期値の推定輝度分布６を読込む手段、（Ｗ９８）復元画像初期値の推定輝度分布６を補正しこれを補正復元画像初期値の推定輝度分布８と成す第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段、（Ｗ９９）ＰＳＦの輝度分布９を補正復元画像初期値の推定輝度分布８に畳込み第２２の関数を得る手段、（Ｗ１００）第２２の関数を反転して第２３の関数を得る手段、（Ｗ１０１）第２３の関数を劣化画像の輝度分布４に掛け合わせて第２４の関数を得る手段、（Ｗ１０２）第２４の関数を復元画像初期値の推定輝度分布６に掛け合わせて復元画像の推定輝度分布１０を得る手段、（Ｗ１０３）カウンターに１を加算する手段、（Ｗ１０４）第２カウンターに１を加算する手段、（Ｗ１０５）カウンターの値が最大反復演算回数１を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ９５）の手段へジャンプし、もしも検証結果が真であれば（Ｗ１０６）の手段へ進む手段、（Ｗ１０６）復元画像の推定輝度分布１０を最尤復元画像の輝度分布１１として出力する手段、を備え、（Ｗ１０７）各手段のＳの添え数字の小さい順に順番通りに実行する事により最大反復演算回数１の反復演算を終え、最尤化された最尤復元画像１１を出力する第３画像復元手段、である事に特徴が有る。
【0107】
図２２は、本発明による第２２の発明である劣化画像準備手段Ｗ４の構成に関する１例を図示したものである。図２２において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0108】
図２２の劣化画像準備手段Ｗ４は、（Ｗ１１０）１フレーム分のＴＶ映像信号５からフレームを構成するＲＧＢ信号２８を取り出すＲＧＢ信号抽出手段、（Ｗ１１１）１フレーム分のＴＶ映像信号５の内、ＲＧＢ信号２８を取り出した残りのＴＶ映像信号２９を１フレーム分遅延して出力する遅延手段、（Ｗ１１２）ＲＧＢ信号２８をＹＵＶ変換してＹＵＶ信号３０と成すＹＵＶ変換手段、（Ｗ１１３）ＹＵＶ信号３０の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布４を抽出してＹ劣化画像の輝度分布３１と成し、残りのＵ信号のみから成るＵ劣化画像の分布３２及びＶ信号のみから成るＶ劣化画像の分布３３を保持するＹ劣化画像抽出手段、（Ｗ１１４）Ｙ劣化画像の輝度分布３１のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布４と成し出力するデガンマ処理手段、を備える事に特徴が有る。
【0109】
図２３は、本発明による第２３の発明であるＴＶ映像化手段Ｗ２２の構成に関する１例を図示したものである。図２３において、手段の番号を内包する白抜きの四角形は判断及び条件分岐に関する以外の手段を、手段の番号を内包する白抜きのひし形は判断及び条件分岐手段である事を、矢印はデータの入出力方向を、数字を内包する白抜きの四角形は要素例えば１であれば最大反復演算回数１を、太線は処理の流れを、白抜きの丸印は処理の結合を、黒丸はデータの分岐及び結合を、それぞれ意味する。
【0110】
図２３のＴＶ映像化手段は、（Ｗ１２０）最尤復元画像の輝度分布１１のガンマ処理を行うガンマ処理手段、（Ｗ１２１）Ｙ劣化画像抽出手段Ｗ１１３で保持したＵ劣化画像の分布３２及びＶ劣化画像の分布３３とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布１１から１枚のＹＵＶ復元画像の分布３４を合成する復元画像合成手段、（Ｗ１２２）ＹＵＶ復元画像の分布３４のＲＧＢ変換を行いＲＧＢ復元画像の分布３５と成すＲＧＢ変換手段、（Ｗ１２３）ＲＧＢ復元画像の分布３５を読み取りＲＧＢ信号３６を出力するＲＧＢ信号変換手段、（Ｗ１２４）ＲＧＢ信号３６を遅延手段Ｗ１１１が出力する残りのＴＶ映像信号２９と合成して１フレーム分のＴＶ映像信号から成る超解像ＴＶ映像信号１２と成し出力するＴＶ映像信号合成手段、を備える事に特徴が有る。
【0111】
本発明による第２４の発明である第４加速超解像処理プログラム４３は、準備手段Ｗ１９及び第１画像復元手段Ｗ２０内の全ての手段を構成し且つ実行させるための処理手順を記述したものである。
【0112】
本発明による第２５の発明である第５加速超解像処理プログラム４４は、準備手段Ｗ１９及び第２画像復元手段Ｗ８８内の全ての手段を構成し且つ実行させるための処理手順を記述したものである。
【0113】
本発明による第２６の発明である第６加速超解像処理プログラムは、準備手段Ｗ１９及び第３画像復元手段Ｗ１０７を構成し且つ実行させるための処理手順を記述したものである。
【0114】
本発明による第２７の発明は、第４加速超解像処理プログラム４３、第５加速超解像処理プログラム４４及び第６加速超解像処理プログラム４５はそれぞれ暗号化されたものであり、これ等の暗号化された第４加速超解像処理プログラム４３、第５加速超解像処理プログラム４４及び第６加速超解像処理プログラム４５を記憶すると共にコンピュータに接続可能で且つコンピュータに読み込ませる事が可能な第２記憶媒体４７である。
【実施例】
【0115】
実施例１は、本発明によるＴＶ映像向け加速超解像処理装置４０を第１加速超解像処理プログラム３７によってコンピュータ４８に構成したＴＶ映像向け加速超解像処理システム４９である。
【0116】
図２４は、本発明による実施例１のＴＶ映像向け加速超解像処理システム４９の構成に関する１例を図示したものである。図２４のＴＶ映像向け加速超解像処理システム４９は、デジタルＴＶ映像信号を入力／出力するために用いるデジタルＴＶ映像信号入出力端子５０、ＴＶ映像向け加速超解像処理装置４０がインストールされたコンピュータ４８、劣化画像の輝度分布４をＴＶ映像６７から準備する劣化画像準備手段Ｗ４がＦＰＧＡによって構成されたＴＶ映像入力基板５１、最尤復元画像の輝度分布１１をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１２を出力するＴＶ映像化手段Ｗ２２がＦＰＧＡによって構成された超解像ＴＶ映像出力基板５２、映像表示モード指定ボタン５６で指定された映像表示モード及び条件表示指定ボタン５７によって指定された重畳有り無しを超解像ＴＶ映像信号１２に反映させる超解像処理モード切替制御回路基板５３、デジタルＴＶ映像ケーブル５４、バスケーブル５５、から構成されている。図２４においては、電源ケーブルは省略されている。
【0117】
図２４のＴＶ映像向け加速超解像処理システム４９を構成するコンピュータ４８内のＴＶ映像向け加速超解像処理装置４０の劣化画像準備手段Ｗ４及びＴＶ映像化手段Ｗ２２は大部分がＦＰＧＡを用いたハードウエアであるため、劣化画像準備手段Ｗ４はＴＶ映像入力基板５１が出力する劣化画像の輝度分布４を取得する手段として構成し、ＴＶ映像化手段Ｗ２２は超解像ＴＶ映像出力基板５２へ最尤復元画像の輝度分布１１を転送する手段として構成している。
【0118】
図２５は、第１加速超解像処理プログラム３７の構成の１例及び同プログラムをコンピュータ４８にインストールする状況の１例を図示したものである。図２５において、第１加速超解像処理プログラム３７は、ＴＶ映像向け加速超解像処理方法に従い処理を行うＴＶ映像向け加速超解像処理装置４０内の第１加速超解像処理手段Ｗ２１内の全ての手段を構成するＴＶ映像向け加速超解像処理装置プログラム６１、ＴＶ映像向け加速超解像処理装置４０における超解像処理に関する操作を行うために用いる超解像処理ウインドウ６４を作成しモニタ５９に表示する超解像処理ウインドウ作成プログラム６２、及び超解像処理ウインドウ６４内の全てのボタン、コンピュータ４８のキーボード６５のボタン、コンピュータ４８のマウス６６により指定された位置及び同位置における右クリック及び左クリックを常時監視し右クリック及び左クリックなどの監視対象へのアクションがあればこれに適した処理を実行する処理を、超解像処理ウインドウ６４内の閉じるボタン７９が押されるまで行う超解像処理ウインドウ監視対処プログラム６３から構成され、ＴＶ映像向け加速超解像処理装置プログラム６１、超解像処理ウインドウ作成プログラム６２、超解像処理ウインドウ監視対処プログラム６３の順に実行される。
【0119】
図２５において、ＴＶ映像向け加速超解像処理装置４０をコンピュータ４８に構成するにあたり、まず、第１記憶媒体４６に記憶された第１加速超解像処理プログラム３７をコンピュータ４８にインストールし、ＴＶ映像向け加速超解像処理装置４０を起動するために使用するＴＶ映像向け加速超解像処理装置アイコン５８をコンピュータ４８のモニタ５９内の画面上に置く。次に、ユーザ６０がＴＶ映像向け加速超解像処理装置アイコン５８をクリックして、ＴＶ映像向け加速超解像処理装置４０を起動する。すると、超解像処理ウインドウ６４がモニタ５９に表示され、ユーザ６０からのアクション待ちの状態になった。
【0120】
図２６は、超解像処理ウインドウ６４の構成に関する１例を図示したものである。図２６の超解像処理ウインドウ６４は、ＴＶ映像６７及び超解像ＴＶ映像６８などを表示するための映像ウインドウ６９、現在日時及び超解像条件及びシステムからのメッセージなどを表示するためのもので上下スクロールバーが右端に設けられた情報ウインドウ７０、劣化示数２を０〜２５５の２５６段階中のいずれかをプルダウンメニュー（本発明のプルダウンメニューではデフォルトは薄青色の背景で表示されている。）から１つの数字を指定して設定するための劣化示数設定ボタン７１、クリックするとコンボボックスが開くのでリストの中の値を選ぶか又はテキストボックスに表示されているデフォルト値の上から最大反復演算回数１を直接入力して設定するために使用する最大反復演算回数設定ボタン７２、超解像処理を設定された条件のもと開始するためにクリックする超解像処理開始ボタン７３、超解像処理を中断するためにクリックする超解像処理中断ボタン７４、中断した超解像処理を再開するための超解像処理再開ボタン７５、超解像処理を停止するためにクリックする超解像処理停止ボタン７６、ヘルプウインドウを開きヘルプ内容を検索そして表示するためのヘルプボタン７７、映像ウインドウ６９内の縮小／拡大したい映像をクリックして指定した後にこのボタン内の＋を押せば指定した映像が拡大され‐を押せば指定した映像が拡大され０を押せばデフォルト倍率に復帰して指定した映像が表示される映像拡大／縮小ボタン７８、映像ウインドウ６９内の映像の表示モードを半割のテストモード、ＴＶ映像６７のみを表示する入力映像モード又は超解像ＴＶ映像６８のみを表示する超解像ＴＶ映像モードの中から１つをプルダウンメニューから選択するために使用する映像表示モード指定ボタン５６、超解像処理条件の最大反復演算回数１及び劣化示数２を超解像ＴＶ映像６８の右上隅に重畳して表示するために使用するトグルスイッチの条件表示指定ボタン５７、超解像処理ウインドウ６４を閉じるために使用する閉じるボタン７９、から構成されている。図２６は、テストモードにおける映像の表示状態を示している。
【0121】
コンピュータ４８は、６４ビットインストラクションセット３２ビット６コア／チップＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、３２Ｇバイト以上のメモリ、１テラバイト以上の記憶容量を有するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、１２８Ｇバイト以上の記憶容量を有するＳＤＤ（Ｓｏｌｉｄｓｔａｔｅ Ｄｉｓｋ Ｄｒｉｖｅ）、３つ以上のＵＳＢ端子、１つ以上のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信モジュール、電話端子、キーボード６５、マウス６６、ＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ディスプレイ、マイクロソフト社製Ｗｉｎｄｏｗｓ（登録商標）８ Ｏ／Ｓ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、マイクロソフト社製 Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２０１０（ＴＭ）（Ｖｉｓｕａｌ Ｃ＋＋ ２０１０を含む）、マイクロソフト社製 Ｏｆｆｉｃｅ ２０１３（ＴＭ）から構成され、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＡＮ、ＵＳＢ及びインターネットを介して他のコンピュータと通信可能なものである。コンピュータ４８には、量産され市場で流通している多くの種類のデスクトップ型コンピュータの中から選択したものを使用しており、同様の規格を有するものであれば、ワークステーションでも良い。また、Ｏ／Ｓの種類が異なるが、サーバであっても良い。
【0122】
図２７は、ＴＶ映像向け加速超解像処理システム４９において超解像処理を実行する手順の１例をトランザクションテーブルとして図示したものである。図２７のトランザクションテーブルは、ユーザ６０による入力処理を意味する番号付き実線矢印、コンピュータ４８による応答を意味する英字付き点線矢印、開始記号、終了記号、ユーザ６０側の時間軸を示す太実線矢印、コンピュータ４８側の時間軸を示す太点線矢印、から構成されている。
【0123】
図２７のトランザクションテーブルに従い、ＴＶ映像向け加速超解像処理システム４９において超解像処理を実行するまでの手順は、（１）「起動」ステップにおいて、ユーザ６０はＴＶ映像向け加速超解像処理装置アイコン５８をクリックし、コンピュータ４８は（Ａ）超解像処理ウインドウ６４をモニタ５９に表示し、（２）「超解像処理条件入力−１」ステップにおいて、ユーザ６０は劣化示数設定ボタン７１をクリックし、コンピュータ４８は（Ｂ）劣化示数設定ボタン７１の位置にプルダウンメニューを展開表示し、（３）「超解像処理条件入力−２」ステップにおいて、ユーザ６０はプルダウンメニューから適切な数値を選択し、コンピュータ４８は（Ｃ）劣化示数２を取り込み、プルダウンメニューを閉じ、（４）「超解像処理条件入力−３」ステップにおいて、ユーザ６０は最大反復演算回数設定ボタン７２をクリックし、コンピュータ４８は（Ｄ）最大反復演算回数設定ボタン７２の位置にコンボボックスを展開し、（５）「超解像処理条件入力−４」ステップにおいて、ユーザ６０はコンボボックスから適切な数値を選択又は入力し、コンピュータ４８は（Ｅ）最大反復演算回数１を取り込み、コンボボックスを閉じ、（６）「超解像処理条件入力−５」ステップにおいて、ユーザ６０は映像表示モード指定ボタン５６をクリックし、コンピュータ４８は（Ｆ）映像表示モード指定ボタン５６の位置にプルダウンメニューを展開し、（７）「超解像処理条件入力−６」ステップにおいて、ユーザ６０はプルダウンメニューから適切なモードを選択し、コンピュータ４８は（Ｇ）映像表示モード指定ボタン５６を取り込み、プルダウンメニューを閉じ、（８）「超解像処理条件入力−７」ステップにおいて、ユーザ６０は条件表示指定ボタン５７をクリックし、コンピュータ４８は（Ｈ）条件表示指定ボタン５７の色を反転して表示設定である事を表示し、（９）「超解像処理開始」ステップにおいて、ユーザ６０は超解像処理開始ボタン７３をクリックし、コンピュータ４８は（Ｉ）超解像処理を実行し、超解像ＴＶ映像６８及びＴＶ映像６７を映像表示モード指定ボタン５６及び条件表示指定ボタン５７に従い映像ウインドウ６９に反映して表示する。
【0124】
超解像処理ウインドウ６４は、超解像処理中であっても、超解像処理ウインドウ６４のボタンへのアクセスを常時監視しているため、超解像処理条件変更ならば、ユーザ６０は、劣化示数設定ボタン７１、最大反復演算回数設定ボタン７２、映像表示モード指定ボタン５６、条件表示指定ボタン５７、をクリックして条件を再設定すれば映像は表示されたままで、超解像処理条件の変更が反映される。もしも、ユーザ６０が超解像処理を終了したいと思った場合には、ユーザ６０は、閉じるボタン７９をクリックする。すると、コンピュータ４８はこれに応答して超解像処理ウインドウ６４を閉じ、更に、ＴＶ映像向け加速超解像処理装置４０を閉じる。
【0125】
図２７の超解像処理手順に従い、ユーザ６０は、まずステップ（１）を実行して超解像処理ウインドウ６４をモニタ５９に表示させ、次に、ステップ（２）を実行して、劣化示数設定ボタン７１の位置にプルダウンメニューを展開表示させ、ステップ（３）でＴＶ映像６７が表示されている地上デジタルＴＶ８０を見ながらＴＶ映像６７の劣化度合いが少ないと感じたので劣化示数２（デフォルト値は２５６段階中の６０）として１４を選択し、次に、ステップ（４）を実行して、最大反復演算回数設定ボタン７２の位置にコンボボックスを展開させ、ステップ（５）でＴＶ映像６７が表示されている地上デジタルＴＶ８０を見ながらＴＶ映像６７の劣化度合いが少ないと感じたので最大反復演算回数１（デフォルト値は３）として４を選択し、次に、ステップ（６）を実行して映像表示モード指定ボタン５６の位置にプルダウンメニューを展開させ、ステップ（７）で、まだ超解像処理条件が確定していないので、テストモードを選択し、次に、ステップ（８）を実行して、条件表示指定ボタン５７を表示設定にし、次に、ステップ（９）を実行して、超解像処理を実行すると、超解像処理ウインドウ６４の映像ウインドウ６９にＴＶ映像６７と超解像ＴＶ映像６８が横に並んだ半割の状態で表示され、ユーザ６０は、この超解像処理条件で良いと考え、地上デジタルＴＶ８０を操作して入力設定をビデオにして、映像ウインドウ６９に表示されている映像を地上デジタルＴＶ８０に全画面表示させ、次に、ユーザ６０は、映像表示モード指定ボタン５６を操作して超解像ＴＶ映像モードに変更し、映像ウインドウ６９及び地上デジタルＴＶ８０に超解像ＴＶ映像６８を全画面表示させ、視聴した。
【0126】
図２８は、実施例１による超解像処理の状況の１例を示す図である。図２８には、テストモードにおけるＴＶ映像６７と超解像ＴＶ映像６８が横に並んだ半割の状態で表示された映像の１フレームを表示している。半割の右側が超解像処理前のＴＶ映像６７の１フレームであり、半割の左側は、半割の右側の１フレームを超解像処理した超解像ＴＶ映像６８の１フレームである。超解像ＴＶ映像６８の１フレームの右上隅には、劣化示数２がＦという記号で表示され、更に最大反復演算回数１がＩという記号で表示され、その上映像表示モードがテストモードである事はテストという略語で表示されている。図２８から、ＴＶ映像６７の表示開始位置が超解像ＴＶ映像６８よりも多少右にずれているが、本発明による実施例１のＴＶ映像向け加速超解像処理システム４９による超解像品質は十分な実用性を備えている事が分かる。
【0127】
本発明によるＴＶ映像向け加速超解像処理装置４０を構成する第１画像復元手段Ｗ２０は、第２加速超解像処理プログラム３８を用いる事により第２画像復元手段Ｗ８８に変更でき、更に、第３加速超解像処理プログラム３９を用いる事により第３画像復元手段Ｗ１０７に変更できるが、コンピュータ４８に構成されるシステムはＴＶ映像向け加速超解像処理システム４９である。第２画像復元手段Ｗ８８及び第３画像復元手段Ｗ１０７はハードウエア化に向いた画像復元手段であるが、ＴＶ映像向け加速超解像処理システム４９は信号処理部分にハードウエアを用いるもののソフトウエアベースであり、処理速度に大きな差は無く、処理品質には全く差が無い。
【0128】
実施例２は、ハードウエア化した第２画像復元手段Ｗ８８を用いるＴＶ映像向け加速超解像処理装置４０の第２の態様をボックス化した第１セットトップボックス８１である。第１セットトップボックス８１は、ＰＳＦ準備手段Ｗ３−３がソフトウエア定義されたコンピュータ基板９３を使用する以外の準備手段Ｗ１９は全てハードウエアであり、第２画像復元手段Ｗ８８もハードウエアを使用するため、全てがハードウエアで構成されている。このため、実施例１のＴＶ映像向け加速超解像処理システム４９よりも高速動作が可能である。第１セットトップボックス８１の超解像品質は、実施例１のＴＶ映像向け加速超解像処理システム４９と同じである。
【0129】
図２９は、第１セットトップボックス８１内部の構成に関する１例を示す図である。図２９の第１セットトップボックス８１内部は、デジタルＴＶ映像信号を入力／出力するために用いるデジタルＴＶ映像信号入出力端子５０、ＴＶ映像入力基板５１、超解像ＴＶ映像出力基板５２、超解像処理モード切替制御回路基板５３、デジタルＴＶ映像ケーブル５４、バスケーブル５５、ＴＶ映像６７の劣化度合いを示す劣化示数２を設定するために用いるＦ設定手段８２、最大反復演算回数１を設定するために用いるＩ設定手段８３、超解像処理モードをテスト又は本処理に切り替えるモードスイッチ８４、超解像処理のモード及びＦ設定手段８２及びＩ設定手段８３の値をＴＶ映像信号に重畳するかどうか指定するモニタスイッチ８５、超解像処理のモード及びＦ設定手段８２及びＩ設定手段８３の値を常時モニタするためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ８６、第１セットトップボックス８１の電源のオン／オフを行うために用いる電源スイッチ８７、電源スイッチ８７がオンの時にのみ点灯するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ランプ８８、ケース８９、ＴＶ映像向け加速超解像処理装置４０の第２画像復元手段Ｗ８８がＦＰＧＡを用いて作製されたＦ回路基板９０、デジタルＴＶ映像信号がインターレース方式かプログレッシブＴＶ映像信号かを自動的に判定しインターレース方式の時にのみデジタルＴＶ映像信号をプログレッシブＴＶ映像信号に変換するアップコンバータ回路基板９１、Ｆ設定手段８２を用いて指定された劣化示数２に基づきＨＤＤ９５内に記憶された拡大ＰＳＦデータベース１８を検索し１連のＰＳＦの輝度分布３を出力するＰＳＦ準備手段Ｗ３−３が事前にインストールされたコンピュータ９２を有するコンピュータ基板９３、コンピュータ４８にＰＳＦ準備手段Ｗ３−３内の全ての手段を構成し且つこれ等の手段の処理手順を記述したＰＳＦ準備手段構成プログラム９４、ＨＤＤ９５、第１セットトップボックス８１内の必要なものへ適切な電源を提供する電源回路基板９６、コンピュータ基板９３から最適な駆動条件の提供を受け適量な風量で放熱を支援する放熱ファン９７、ＬＡＮ端子９８、ＵＳＢ端子９９〜１０１、商用交流単相１００Ｖ電源ケーブル１０２、電源ケーブル１０３、信号線１０４、信号線１０５、から構成されている。
【0130】
超解像処理モード切替制御回路基板５３は、モードスイッチ８４及びモニタスイッチ８５の状態を常時読込且つ自動判定し、（モード１）もしもモードスイッチ８４が本処理モード且つモニタスイッチ８５が重畳無しの場合には、アップコンバータ回路基板９１から１フレーム分のＴＶ映像信号５を受取りＴＶ映像入力基板５１に出力し、更に超解像ＴＶ映像出力基板５２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１２をデジタルＴＶ映像信号入出力端子５０に出力し、（モード２）もしもモードスイッチ８４が本処理モード且つモニタスイッチ８５が重畳有りの場合には、アップコンバータ回路基板９１から１フレーム分のＴＶ映像信号５を受取りＴＶ映像入力基板５１に出力し、次に、更に超解像ＴＶ映像出力基板５２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１２にコンピュータ基板９３から読込んだ情報を右上隅に重畳してデジタルＴＶ映像信号入出力端子５０に出力し、（モード３）もしもモードスイッチ８４がテストモード且つモニタスイッチ８５が重畳無しの場合には、アップコンバータ回路基板３９から１フレーム分のＴＶ映像信号５を受取り複製して一方をＴＶ映像入力基板５１に出力すると同時にもう１方を１フレーム分遅延させ、遅延させた方を横幅１／２に圧縮して１枚の画面の右半分に成る様にし、更に超解像ＴＶ映像出力基板５２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１２を横幅１／２に圧縮して１枚の画面の左半分に成る様にして合成する事により１枚の画面の右半分が超解像処理前のフレームで左半分が超解像処理後のフレームとなる様に調整した１フレーム分のＴＶ映像信号をデジタルＴＶ映像信号入出力端子５０に出力し、（モード４）もしもモードスイッチ８４がテストモード且つモニタスイッチ８５が重畳有りの場合には、アップコンバータ回路基板９１から１フレーム分のＴＶ映像信号５を受取り複製して一方をＴＶ映像入力基板５１に出力すると同時にもう１方を１フレーム分遅延させ、遅延させた方を横幅１／２に圧縮して１枚の画面の右半分に成る様にし、更に超解像ＴＶ映像出力基板５２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１２を横幅１／２に圧縮して１枚の画面の左半分に成る様にして合成する事により１枚の画面の右半分が超解像処理前のフレームで左半分が超解像処理後のフレームとなる様に調整した１フレーム分のＴＶ映像信号にコンピュータ基板９３から読込んだ情報を右上隅に重畳してデジタルＴＶ映像信号入出力端子５０に出力する。
【0131】
Ｆ設定手段８２は、地上デジタルＴＶ８０のＴＶモニタ１０６に映し出されるＴＶ映像６７の光学的な劣化度合いに応じた劣化示数２を設定するために用いるものであり、ＴＶ映像向け加速超解像処理装置４０の手段Ｗ２に相当する。Ｆ設定手段８２は１０進数３桁の数字を設定可能なビットスイッチであり、データ及び電源はバスケーブル５５を介して行い、且つ設定値が直接読める仕様のものが好適である。この仕様のものは、市場で入手可能である。
【0132】
Ｉ設定手段８３は、最大反復演算回数１を設定するために用いるものであり、１０進数３桁の数字を設定可能なビットスイッチであり、データ及び電源はバスケーブル５５を介して行い、且つ設定値が直接読める仕様のものが好適である。この仕様のものは、市場で入手可能である。
【0133】
コンピュータ基板９３は最新のウィンドウズ（登録商標）ＯＳ系コンピュータであり、Ｃ＋＋言語の使用可能なＰＣマザーボードである。ＰＣマザーボードには、各種Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ ｉｎｔｅｒｆａｃｅ）、ＬＡＮ端子９８、ＵＳＢ端子９９〜１０１、マイク端子、スピーカ端子などの外部接続端子を数多く有しており、また、価格もそれ程高価ではないため実施例２には好適である。ＰＣマザーボードは市場で多くの種類が流通しており、１６Ｇバイトなどの多量の高速メモリを搭載したハイエンドのものであれば何でも良い。また、Ｃ＋＋言語は、ＰＣマザーボード購入後にインストールしても良い。
【0134】
ＰＳＦ準備手段構成プログラム９４は、Ｃ＋＋言語で記述されたプログラムであり、コンピュータ基板９３に搭載されたＣＰＵが読込んで実行可能なものであり、事前にインストールされＰＳＦ準備手段Ｗ３−３がコンピュータ基板９３内のコンピュータに定義され、更に、ＰＳＦ準備手段Ｗ３−３が参照する拡大ＰＳＦデータベース１８がＨＤＤ９５内に構成され、そして冷却ファン９７の制御システムが定義される。ＰＳＦ準備手段Ｗ３−３及び冷却ファン９７の制御システムは、電源スイッチ８７が投入されると、初期化後に自動実行される。しかし、これ等のＰＳＦ準備手段Ｗ３−３及び冷却ファン９７の制御システムの制御システムは、ウィンドウズ（登録商標）ＯＳが提供する環境の上で稼働しており、ウィンドウズ（登録商標）ＯＳが提供する多様なインターフェースや機能はそのまま使用可能であり、ＬＡＮやＵＳＢを使用した通信は常時使用可能である。また、ウィンドウズ（登録商標）ＯＳが提供する環境の上で稼働させる事により、高度な制御が可能と成り、第１セットトップボックス８１内部の温度上昇による故障のリスクが低減できる。
【0135】
ＨＤＤ９５には、ＰＳＦ準備手段構成プログラム９４及び拡大ＰＳＦデータベース１８の他、ウィンドウズ（登録商標）ＯＳ（図示せず）、Ｃ＋＋（図示せず）などが搭載されている。ＨＤＤ９５は、１Ｔバイト以上の容量のもので、且つランダム高速読み書き可能なもので、且つバスインターフェース及び８Ｍバイト以上のバッファーを搭載しているもので、データ及び信号の送受信並びに電源の供給はバスケーブル５５を介して行う仕様のものであれば何でも良い。市場には多くの種類があるが、スペースの関係上２．５インチサイズのものが望ましい。
【0136】
アップコンバータ回路基板９１、ＴＶ映像入力基板５１、超解像ＴＶ映像出力基板５２及び超解像処理モード切替制御回路基板５３はＦＰＧＡを用いて自作する必要があるが、アップコンバータ回路基板９１及び電源回路基板９６は、設計諸元を満たす様な既製品を市場で購入する事が可能である。
【0137】
図３０は、第１セットトップボックス８１のセットアップの状況の１例を図示したものである。図３０において、ユーザ６０は、地上デジタルＴＶ８０のデジタルビデオ信号・音声入出力端子から伸びるデジタル信号ケーブル１０７を第１セットトップボックス８１のデジタルＴＶ映像信号入出力端子５０に接続する。
【0138】
次に、ユーザ６０は、まず、第１セットトップボックス８１の電源スイッチ８７をオンにして電源を入れ、次に、地上デジタルＴＶ８０の電源を入れ、地上デジタルＴＶ８０のチャンネルコマンダー１０８を用いて好みのチャンネルに合わせ、ＴＶ放送映像を地上デジタルＴＶ８０のＴＶモニタ１０６で確認しながら、モードスイッチ８４をテストに、更にモニタスイッチ８５を重畳有りに切り替えた。すると、ＴＶモニタ１０６の右半分に超解像処理前のＴＶ放送映像が流れ、そして左半分にデフォルト設定条件で超解像処理された後のＴＶ放送映像が遅れる事無く流れ、ＴＶモニタ１０６の右上隅にはデフォルト設定条件の最大反復演算回数の「Ｉ＝６」、ボケ度合い「Ｆ＝６０」、「テストモード」という表示がＴＶ映像に重畳している。
【0139】
次に、ユーザ６０は、フレーム劣化が少なかったため、Ｆ設定手段８２を用いて劣化示数２をデフォルトの２５６段階中６０から３０に設定し、Ｉ設定手段８３を用いて最大反復演算回数をデフォルトの２回のままにして、略実時間処理による超解像処理後の画質の変化をＴＶモニタ１０６で確認した。この結果、大きな画質の変化は無く、デフォルト値以下で良い事が分かった。
【0140】
この後、ユーザ６０は、略実時間処理による超解像処理後の画質の変化をＴＶモニタ１０６で確認しながら、Ｆ設定手段８２及びＩ設定手段８３を変化させて最適な画質の状態を探り出すことができる。１度、超解像処理条件（Ｆ設定手段８２及びＩ設定手段８３の設定値）が決定してしまえば、モードスイッチ８４を切り替えて、ＴＶモニタ１０６の画面全面で超解像処理後のＴＶ放送映像を楽しめる。この状態であっても、超解像処理条件は変更可能である。
【0141】
図３１は本発明者によるＴＶ映像向け超解像処理方法の開発データに基づく反復演算回数とＬＳＩ規模との間の関係の１例を図示したものである。ＴＶ映像向け加速超解像処理方法に従うＴＶ映像向け加速超解像処理装置４０を応用した実施例１のＴＶ映像向け加速超解像処理システム４９及び実施例２の第１セットトップボックス８１の最大反復演算処理回数１の標準は２回であり、図３１では、左端の点にあたる。図３１の左から２番目の点は、本発明者による従来法のＴＶ映像向け超解像処理方法における最大反復演算処理回数の標準にあたり、その回数は６回である。図３１から明らかな様に、本発明者による従来法からＴＶ映像向け加速超解像処理方法に変更すると、反復演算処理回数は１／３に成り、画像復元手段をＦＰＧＡ化及びＬＳＩ化した際のゲート数は１５０万ゲートから７万ゲートへと大幅に削減できる。
【0142】
図３２は、本発明者による従来法とＴＶ映像向け加速超解像処理方法による超解像処理品質の比較の１例を示す図である。図３２の左の画像は未処理の劣化画像であり、カラー標準画像の輝度成分のみから成るものである。図３２の中央の画像はＴＶ映像向け加速超解像処理方法によるものであり、映像ではなくフレーム１枚処理に改造した第１セットトップボックス８１を使用して得たものであり、最大反復演算回数１は２回であり、劣化示数２は３０である。図３２の右の画像は本発明者による従来法によるものであり、映像ではなくフレーム１枚処理に改造したセットトップボックスを使用して得たものであり、最大反復演算回数１は６回であり、劣化示数２は３０である。図３２から、ＴＶ映像向け加速超解像処理方法によるものの方が本発明者による従来法によるものよりも超解像処理品質が良い事が分かる。この結果は、多くの実験結果と一致しており、ＴＶ映像向け加速超解像処理方法の超解像処理品質は本発明者による従来法と同等以上である事の１例である。
【0143】
図３３は、標準画像の劣化程度と反復演算回数による超解像処理品質との間の関係の１例を示す図である。劣化示数２が３０、５４、７４に相当する劣化程度の標準画像を準備し、映像ではなくフレーム１枚処理に改造した第１セットトップボックス８１を使用してＴＶ映像向け加速超解像処理方法により、最大反復演算回数１を２回及び３回として超解像処理を行った時に得られた超解像処理画像を、劣化示数２及び最大反復演算回数１に対してまとめたものが図３３である。図３３から、劣化示数２が３０〜７４の範囲であれば、最大反復演算回数１は最低２回であれば超解像処理品質は良好であり、劣化示数２及び最大反復演算回数１による影響は無視できる事が分かる。劣化示数２が３０〜７４の範囲は現状の地上デジタルＴＶ映像では標準からかなり悪い範囲に当たり、ＴＶ映像向け加速超解像処理方法は地上デジタルＴＶ映像の処理に好適な事が分かる。
【0144】
実施例３は、本発明によるＴＶ映像向け加速超解像処理装置４０の第２画像復元手段８８を第３復元手段に変更したＴＶ映像向け加速超解像処理装置４０の第３の態様を応用した第２セットトップボックス１０９である。第２セットトップボックス１０９のハードウエアの構成は第１セットトップボックス８１と全く同じである。第１セットトップボックス８１と第２セットトップボックス１０９との違いは、Ｆ回路基板９０に構成された手段が第２画像復元手段Ｗ８８から第３画像復元手段へ変更になっただけである。このため、図２９を書き直して改めて示すことはしない。また、第１セットトップボックス８１の外観と第２セットトップボックス１０９の外観との違いは、セットトップボックスの番号のみであり、事実上存在しないため、図３０を書き直して改めて示すことはしない。超解像処理品質上の違いも無く、図２８に示すものと同等の結果が得られる。
【産業上の利用可能性】
【0145】
本発明は、ＴＶ映像を利用するものであれば、如何なる用途にも適用可能であるため、ビデオカメラやデジタルカメラの開発・製造を行う精密機器業及び電子機器業、アプリケーションやゲームなどのソフトウエア開発業、内視鏡やＭＲＩなど医療機器業、モニタなどの情報機器業、監視カメラなどの防災・防犯機器業、アーカイブ業などで利用可能である。
【符号の説明】
【0146】
（１）〜（９）・・・ユーザによる入力、（Ａ）〜（Ｉ）・・・コンピュータによる応答、１・・・最大反復演算回数、２・・・劣化示数、３・・・１連のＰＳＦ、３・・・１連のＰＳＦの輝度分布、４・・・劣化画像の輝度分布、５・・・１フレーム分のＴＶ映像信号、６・・・復元画像初期値の推定輝度分布、７・・・ＰＳＦサイズ、８・・・補正復元画像初期値の推定輝度分布、９・・・ＰＳＦの輝度分布、１０・・・復元画像の推定輝度分布、１１・・・最尤復元画像の輝度分布、１２・・・超解像ＴＶ映像信号、１３・・・ＰＳＦデータベース、１４・・・第１番目のＰＳＦの輝度分布、１５・・・ＰＳＦ初期値の輝度分布、１６・・・最尤復元ＰＳＦの輝度分布、１７・・・第ｎ番目のＰＳＦの輝度分布、１８・・・拡大ＰＳＦデータベース、１９・・・劣化ＰＳＦの輝度分布、２０・・・復元ＰＳＦ初期値の推定輝度分布、２１・・・補正復元ＰＳＦ初期値の推定輝度分布、２２・・・復元ＰＳＦの推定輝度分布、２３・・・ＰＳＦの輝度分布９の画像ファイル名、２４・・・第２番目のＰＳＦの輝度分布、２５・・・第ｎ＿ｍａｘ番目のＰＳＦの輝度分布、２６・・・劣化画像保存用バッファー、２７・・・復元画像初期値用バッファー、２８・・・ＲＧＢ信号、２９・・・残りのＴＶ映像信号、３０・・・ＹＵＶ信号、３１・・・Ｙ劣化画像の輝度分布、３２・・・Ｕ劣化画像の分布、３３・・・Ｖ劣化画像の分布、３４・・・ＹＵＶ復元画像の分布、３５・・・ＲＧＢ復元画像の分布、３６・・・復元後、３７・・・図示せず、３７・・・第１加速超解像処理プログラム、３８・・・第２加速超解像処理プログラム、３９・・・第３加速超解像処理プログラム、４０・・・ＴＶ映像向け加速超解像処理装置、４１・・・Ｗ２２、４２・・・演算困難領域、４３・・・第４加速超解像処理プログラム、４４・・・第５加速超解像処理プログラム、４５・・・第６加速超解像処理プログラム、４６・・・第１記憶媒体、４７・・・第２記憶媒体、４８・・・コンピュータ、４９・・・ＴＶ映像向け加速超解像処理システム、５０・・・デジタルＴＶ映像信号入出力端子、５１・・・ＴＶ映像入力基板、５２・・・超解像ＴＶ映像出力基板、５３・・・超解像処理モード切替制御回路基板、５４・・・デジタルＴＶ映像ケーブル、５５・・・バスケーブル、５６・・・映像表示モード指定ボタン、５６・・・図示せず、５７・・・条件表示指定ボタン、５７・・・図示せず、５８・・・ＴＶ映像向け加速超解像処理装置アイコン、５９・・・モニタ、６０・・・ユーザ、６１・・・ＴＶ映像向け加速超解像処理装置プログラム、６２・・・超解像処理ウインドウ作成プログラム、６３・・・超解像処理ウインドウ監視対処プログラム、６４・・・超解像処理ウインドウ、６５・・・キーボード、６６・・・マウス、６７・・・ＴＶ映像、６８・・・超解像ＴＶ映像、６９・・・映像ウインドウ、７０・・・情報ウインドウ、７１・・・劣化示数設定ボタン、７２・・・最大反復演算回数設定ボタン、７３・・・超解像処理開始ボタン、７４・・・超解像処理中断ボタン、７５・・・超解像処理再開ボタン、７６・・・超解像処理停止ボタン、７７・・・ヘルプボタン、７８・・・映像拡大／縮小ボタン、７９・・・閉じるボタン、８０・・・地上デジタルＴＶ、８１・・・第１セットトップボックス、８２・・・Ｆ設定手段、８３・・・Ｉ設定手段、８４・・・モードスイッチ、８５・・・モニタスイッチ、８６・・・ＬＣＤモニタ、８７・・・電源スイッチ、８８・・・ＬＥＤランプ、８９・・・ケース、９０・・・Ｆ回路基板、９１・・・アップコンバータ回路基板、９２・・・コンピュータ、９３・・・図示せず、９４・・・ＰＳＦ準備手段構成プログラム、９５・・・ＨＤＤ、９６・・・電源回路基板、９７・・・放熱ファン、９８・・・ＬＡＮ端子、９９・・・ＵＳＢ端子、１００・・・ＵＳＢ端子、１０１・・・ＵＳＢ端子、１０２・・・商用交流単相１００Ｖ電源ケーブル、１０３・・・電源ケーブル、１０４・・・信号線、１０５・・・信号線、１０６・・・ＴＶモニタ、１０６・・・図示せず、１０７・・・デジタル信号ケーブル、１０８・・・チャンネルコマンダー、１０９・・・第２セットトップボックス、Ｆ・・・劣化示数、ＦＣＮ１３・・・第１３の関数、ＦＣＮ１４・・・第１４の関数、ＦＣＮ１５・・・第１５の関数、ＦＮＣ１６・・・第１６の関数、ＦＮＣ１７・・・第１７の関数、ＦＮＣ１８・・・第１８の関数、ＦＮＣ１９・・・第１９の関数、ＦＮＣ２０・・・第２０の関数、ＦＮＣ２１・・・第２１の関数、ＦＮＣ２２・・・第２２の関数、ＦＮＣ２３・・・第２３の関数、ＦＮＣ２４・・・第２４の関数、Ｉ・・・反復演算回数、Ｓ１・・・工程、Ｓ２・・・劣化示数指定工程、Ｓ３・・・ＰＳＦ準備工程、Ｓ３−２・・・ＰＳＦ準備工程Ｓ３の第２の態様、Ｓ３−３・・・ＰＳＦ準備工程の第３の態様、Ｓ４・・・劣化画像準備工程、Ｓ５・・・復元画像初期値準備工程、Ｓ６・・・ＰＳＦサイズ取得工程、Ｓ７・・・第１リセット工程、Ｓ８・・・工程、Ｓ８・・・第１復元画像初期値補正工程、Ｓ９・・・ＰＳＦ選定工程、Ｓ１０〜Ｓ１８・・・工程、Ｓ１９・・・準備工程、Ｓ２０・・・第１画像復元工程、Ｓ２１・・・第１加速超解像処理工程、Ｓ２２・・・ＴＶ映像化工程、Ｓ３０〜Ｓ６３・・・工程、Ｓ６４・・・ＰＳＦ復元工程、Ｓ６５〜Ｓ７６・・・工程、Ｓ８０・・・ＰＳＦ提供工程、Ｓ８１・・・第１単分画像復元工程、Ｓ８１−１・・・第１段目の第１単分画像復元工程、Ｓ８１−２・・・第２段目の第１単分画像復元工程、Ｓ８１−ｎ＿ｍａｘ・・・第ｎ＿ｍａｘ段目の第１単分画像復元工程、Ｓ８１−ｎ・・・第ｎ段目の第１単分画像復元工程、Ｓ８２〜Ｓ８７・・・工程、Ｓ８８・・・第２画像復元工程、Ｓ９０〜Ｓ１０６・・・工程、Ｓ１０７・・・第３画像復元工程、Ｓ１１０・・・ＲＧＢ信号抽出工程、Ｓ１１１・・・遅延工程、Ｓ１１２・・・ＹＵＶ変換工程、Ｓ１１３・・・Ｙ劣化画像抽出工程、Ｓ１１４・・・デガンマ処理工程、Ｓ１２０〜Ｓ１２４・・・工程、Ｗ１・・・手段、Ｗ２・・・劣化示数指定手段、Ｗ３・・・ＰＳＦ準備手段、Ｗ３−２・・・ＰＳＦ準備手段Ｓ３の第２の態様、Ｗ３−３・・・ＰＳＦ準備手段の第３の態様、Ｗ４・・・劣化画像準備手段、Ｗ５・・・復元画像初期値準備手段、Ｗ６・・・ＰＳＦサイズ取得手段、Ｗ７・・・第１リセット手段、Ｗ８・・・手段、Ｗ８・・・第１復元画像初期値補正手段、Ｗ９・・・ＰＳＦ選定手段、Ｗ１０〜Ｗ１８・・・手段、Ｗ１９・・・準備手段、Ｗ２０・・・第１画像復元手段、Ｗ２１・・・第１加速超解像処理手段、Ｗ２２・・・ＴＶ映像化手段、Ｗ３０〜Ｗ６３・・・手段、Ｗ６４・・・ＰＳＦ復元手段、Ｗ７０〜Ｗ８０・・・手段、Ｗ８１・・・第１単分画像復元手段、Ｗ８１−１・・・第１段目の第１単分画像復元手段、Ｗ８１−２・・・第２段目の第１単分画像復元手段、Ｗ８１−ｎ＿ｍａｘ・・・第ｎ＿ｍａｘ段目の第１単分画像復元手段、Ｗ８１−ｎ・・・第ｎ段目の第１単分画像復元手段、Ｗ８２〜Ｗ８７・・・手段、Ｗ８８・・・第２画像復元手段、Ｗ９０〜Ｗ１０６・・・手段、Ｗ１０７・・・第３画像復元手段、Ｗ１１０・・・ＲＧＢ信号抽出手段、Ｗ１１１・・・遅延手段、Ｗ１１２・・・ＹＵＶ変換手段、Ｗ１１３・・・Ｙ劣化画像抽出手段、Ｗ１１４・・・デガンマ処理手段、Ｗ１２０〜Ｗ１２４・・・手段