特許第6830742号(P6830742)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許6830742画素に基づく画像セグメンテーション用のプログラム
<>
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000002
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000003
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000004
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000005
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000006
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000007
  • 特許6830742-画素に基づく画像セグメンテーション用のプログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6830742
(24)【登録日】2021年1月29日
(45)【発行日】2021年2月17日
(54)【発明の名称】画素に基づく画像セグメンテーション用のプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20210208BHJP
   G06T 7/11 20170101ALI20210208BHJP
【FI】
   G06T7/00 350C
   G06T7/11
【請求項の数】4
【全頁数】12
(21)【出願番号】特願2017-228585(P2017-228585)
(22)【出願日】2017年11月29日
(65)【公開番号】特開2019-101519(P2019-101519A)
(43)【公開日】2019年6月24日
【審査請求日】2019年11月24日
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】高 仁武
【審査官】 武田 広太郎
(56)【参考文献】
【文献】 特開2016−057918(JP,A)
【文献】 特開2016−153984(JP,A)
【文献】 Embedding structured contour and location prior in siamesed fully convolutional networks for road detection,2017 IEEE International Conference on Robotics and Automation (ICRA),2017年 5月29日,URL,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7989027
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 7/11
(57)【特許請求の範囲】
【請求項1】
画素に基づく画像セグメンテーションとしてコンピュータを機能させるプログラムにおいて、
入力画像に対して、画素クラスを抽出する複数の画素推定手段を直列に実行する画素推定ストリームと、
同一の前記入力画像に対して、物体特徴を抽出する複数の特徴推定手段を直列に実行する特徴推定ストリームと
を並列に実行すると共に、
前記画素推定ストリームの中で、前段の画素推定手段から出力された画素マップと、前段の特徴推定手段から出力された特徴マップとを入力し、画素マップのサイズに合わせて、特徴マップをアップ/ダウンサンプリングした後、当該特徴マップを当該画素マップに連結又は加算し、当該画素マップを次段の画素推定手段へ出力する画素統合手段と、
前記特徴推定ストリームの中で、前段の画素推定手段から出力された画素マップと、前段の特徴推定手段から出力された特徴マップとを入力し、特徴マップのサイズに合わせて、画素マップをアップ/ダウンサンプリングした後、当該画素マップを当該特徴マップに連結又は加算し、当該特徴マップを次段の特徴推定手段へ出力する特徴統合手段と、
前記画素推定ストリーム及び前記特徴推定ストリームを、最終段で連結又は加算するストリーム統合手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項2】
前記画素推定ストリームに、少なくとも1つ以上の画素統合手段を含み、
前記特徴推定ストリームに、少なくとも1つ以上の特徴統合手段を含む
ようにコンピュータを機能させることを特徴とする請求項に記載のプログラム。
【請求項3】
前記画素推定手段及び前記特徴推定手段はそれぞれ、畳み込みニューラルネットワークによって構成される
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。
【請求項4】
前記ストリーム統合手段は、前記画素推定ストリーム及び前記特徴推定ストリームを最終段で連結又は加算した後に、更に畳み込み層を実行する
ようにコンピュータを機能させることを特徴とする請求項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深層学習(deep learning)を用いた、画素に基づく画像セグメンテーションの技術に関する。
【背景技術】
【0002】
画像に映る物体を認識するために、画像セグメンテーションの技術がある。この技術は、画像の各画素が、何の物体に属するのかを検出するものであり、従来、ランダムフォレスト(random forest)や、サポートベクターマシン(support vector machine)、エイダブースト(adaboost)等が用いられてきた。
【0003】
近年、画像セグメンテーションに、深層学習における畳み込みニューラルネットワーク(convolutional neural network)が適用されてきている。畳み込みニューラルネットワークに画像を入力することによって、特徴を抽出し、その特徴が現れた位置・輪郭・領域を検出することができる。
【0004】
「ニューラルネットワーク」とは、生体の脳における特性を計算機上のシミュレーションによって表現することを目指した数学モデルをいう。シナプスの結合によってネットワークを形成した人工ニューロン(ユニット)が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般をいう。
また、「畳み込みニューラルネットワーク」とは、狭義には、複数のユニットを持つ層が入力段から出力段へ向けて一方向に連結されており、出力層側のユニットが、隣接する入力層側の特定のユニットに結合された「畳み込み層」を有する順伝播型ネットワークをいう。
【0005】
前方層のユニットから後方層のユニットへつなぐ関数のパラメータを、「重み(weight)」と称す。学習とは、この関数のパラメータとして、適切な「重み」を算出することにある。教師データの入力データに対する出力層からの出力データと、教師データの正解ラベルとの誤差を用いて、各層の重みが最適に更新される。誤差は、「誤差逆伝播法」によって、出力層側から入力層側へ向けて次々に伝播し、各層の重みを少しずつ更新していく。最終的に、誤差が小さくなるように、各層の重みを適切な値に調整する収束計算を実行する。尚、本発明における「畳み込みニューラルネットワーク」には、RNN(Recurrent Neural Network)やLSTM(Long short-term memory)に代表される単層内循環型の畳み込みニューラルネットワークや、複数層間循環型の畳み込みニューラルネットワーク等も含まれるものとする。
【0006】
画像認識と比較して、画像セグメンテーションでは、画像に「何が」映り込んでいるか、だけではなく、「何処に」あるか、及び、「その輪郭」はどうなっているか、まで認識しなければならない。
ニューラルネットワークは、「何が」を認識するために、画像のダウンサンプリングを実行する必要がある。一方で、ダウンサンプリングによって、画像のサイズが縮小し、輪郭が不明となる。
【0007】
従来、画像の物体認識用の畳み込みニューラルネットワークとして、エンコーダデコーダ(encoder-decoder)構造を用いた技術がある(例えば非特許文献1参照)。この技術によれば、エンコーダは、物体検出における位置検出処理を実行し、デコーダは、その特徴を物体の位置にマッピングする。これは、ニューラルネットワークの浅い層の位置情報と深い層の特徴情報とを、スキップ構造によって統合している。
【0008】
図1は、画像セグメンテーションに適用したエンコーダデコーダ畳み込みニューラルネットワークの概説図である。
【0009】
図1によれば、エンコーダデコーダ畳み込みニューラルネットワークは、複数の人が映る写真画像を入力し、入力画像と同じサイズの物体認識画像を出力する。図1によれば、出力された物体認識画像からは、人や、テーブル、椅子のような物体が検出されると共に、その物体の位置が特定されている。
【0010】
また、他の従来技術として、完全畳み込み構造を用いた技術もある(例えば非特許文献2参照)。この技術によれば、画像をエンコードし、スキップ構造によってある層を統合して位置を推測する。これは、ニューラルネットワークをPoolingストリームとResidualストリームとに分けており、一方は位置情報を統合させ、他方は判別させている。
【0011】
更に、スキップ構造の後に連結させる技術もある(例えば非特許文献3参照)。これは、DenseNet構造を用いて、画像をダウンサンプリングした後、アップサンプリングして、元の解像度に復元している。
【先行技術文献】
【非特許文献】
【0012】
【非特許文献1】Fully Convolutional Networks for Semantic Segmentation、[online]、[平成29年11月25日検索]、インターネット<URL:https://arxiv.org/pdf/1605.06211.pdf>
【非特許文献2】“Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes”、[online]、[平成29年11月25日検索]、インターネット<http://openaccess.thecvf.com/content_cvpr_2017/papers/Pohlen_Full-Resolution_residual_networks_CVPR_2017_paper.pdf>
【非特許文献3】“The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation”、[online]、[平成29年11月25日検索]、インターネット<http://openaccess.thecvf.com/content_cvpr_2017_workshops/w13/papers/Jegou_The_One_Hundred_CVPR_2017_paper.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0013】
非特許文献1及び3に記載された技術によれば、1つのネットワークで、物体特徴の推定と、画素の位置特徴の推定とを同時に学習させるために、画像を合成する(例えばリサイズする)必要がある。そのために、画素クラス情報(認識対象のクラス)が損失する可能性がある。
また、非特許文献2に記載された技術によれば、Residualストリームの部分もFull-Resolutionを持たすことができるが、画素クラス情報を学習せず、単なる加算によって統合させている。
【0014】
これに対し、本願の発明者らは、画素推定ストリームと特徴推定ストリームとの両方の流れの中で、画像をリサイズすることなく、Full-Resolutionを保ったまま、高い精度の画像セグメンテーションを実現することができないか、と考えた。
【0015】
そこで、本発明は、画素推定と特徴推定との両方を用いて、高い精度の画像セグメンテーションを実現するプログラムを提供することを目的とする。
【課題を解決するための手段】
【0016】
本発明によれば、画素に基づく画像セグメンテーションとしてコンピュータを機能させるプログラムにおいて、
入力画像に対して、画素クラスを抽出する複数の画素推定手段を直列に実行する画素推定ストリームと、
同一の前記入力画像に対して、物体特徴を抽出する複数の特徴推定手段を直列に実行する特徴推定ストリームと
を並列に実行すると共に、
前記画素推定ストリームの中で、前段の画素推定手段から出力された画素マップと、前段の特徴推定手段から出力された特徴マップとを入力し、画素マップのサイズに合わせて、特徴マップをアップ/ダウンサンプリングした後、当該特徴マップを当該画素マップに連結又は加算し、当該画素マップを次段の画素推定手段へ出力する画素統合手段と、
前記特徴推定ストリームの中で、前段の画素推定手段から出力された画素マップと、前段の特徴推定手段から出力された特徴マップとを入力し、特徴マップのサイズに合わせて、画素マップをアップ/ダウンサンプリングした後、当該画素マップを当該特徴マップに連結又は加算し、当該特徴マップを次段の特徴推定手段へ出力する特徴統合手段と、
前記画素推定ストリーム及び前記特徴推定ストリームを、最終段で連結又は加算するストリーム統合手段と
してコンピュータを機能させることを特徴とする。
【0018】
本発明のプログラムにおける他の実施形態によれば、
画素推定ストリームに、少なくとも1つ以上の画素統合手段を含み、
特徴推定ストリームに、少なくとも1つ以上の特徴統合手段を含む
ようにコンピュータを機能させることも好ましい。
【0019】
本発明のプログラムにおける他の実施形態によれば、
画素推定手段及び特徴推定手段はそれぞれ、畳み込みニューラルネットワークによって構成される
ようにコンピュータを機能させることも好ましい。
【0020】
本発明のプログラムにおける他の実施形態によれば、
ストリーム統合手段は、画素推定ストリーム及び特徴推定ストリームを最終段で連結又は加算した後に、更に畳み込み層を実行する
ようにコンピュータを機能させることも好ましい。
【発明の効果】
【0021】
本発明のプログラムによれば、画素推定と特徴推定との両方を用いて、高い精度の画像セグメンテーションを実現することができる。特に、画素推定ストリームと特徴推定ストリームとの両方の流れの中で、画像をリサイズすることなく、Full-Resolutionを保ったまま、高い精度の画像セグメンテーションを実現することができる。
【図面の簡単な説明】
【0022】
図1】画像セグメンテーションに適用したエンコーダデコーダ畳み込みニューラルネットワークの概説図である。
図2】本発明におけるニューラルネットワークの機能構成図である。
図3】本発明における各機能の内部構造を表す構造図である。
図4】画素統合部における画素マップの第1のフローを表す説明図である。
図5】画素統合部における画素マップの第2のフローを表す説明図である。
図6】本発明におけるストリーム統合部の内部構造を表す構造図である。
図7】本発明における推定結果を表す画像図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0024】
図2は、本発明におけるニューラルネットワークの機能構成図である。
【0025】
図2によれば、ニューラルネットワークは、画素推定部11と、画素統合部12と、特徴推定部21と、特徴統合部22と、ストリーム統合部3とを有する。これら機能構成部は、コンピュータを機能させるプログラムとして実現される。
【0026】
ニューラルネットワークには、例えばカメラで撮影された画像(映像)が入力される。この画像は、勿論、CG(Computer Graphics)画像であってもよい。これに対し、画素クラスやその位置、輪郭、領域が特定された画像セグメンテーションの推定結果が出力される。
【0027】
図2によれば、画素に基づく画像セグメンテーションのために、<画素推定ストリーム1>と<特徴推定ストリーム2>とが並列に実行されている。
<画素推定ストリーム1>
画素推定ストリーム1は、入力画像に対して、画素クラスを抽出する複数の「画素推定部11」を直列に実行する。
<特徴推定ストリーム2>
特徴推定ストリーム2は、同一の入力画像に対して、物体特徴を抽出する複数の「特徴推定部21」を直列に実行する。
【0028】
図2(a)によれば、画素推定ストリーム1の中で、各画素推定部11の間に「画素統合部12」を含み、特徴推定ストリーム2の中で、各特徴推定部21の間に「特徴統合部22」を含む。
画素統合部12は、画素推定ストリーム1の中で、前段の画素推定部11nから出力された画素マップと、前段の特徴推定部21nから出力された特徴マップとを入力し、処理した画素マップを、次段の画素推定部11n+1へ出力する。
また、特徴統合部22は、特徴推定ストリーム2の中で、前段の特徴推定部21nから出力された特徴マップと、前段の画素推定部11nから出力された画素マップとを入力し、処理した特徴マップを、次段の特徴推定部21n+1へ出力する。
そして、画素推定ストリーム1と特徴推定ストリーム2とは、出力段のストリーム統合部3で統合される。
【0029】
このように、画素推定ストリーム1と特徴推定ストリーム2との相補的な関係性を持つ構造にすることによって、高精度な画素クラス情報の推定と、高解像度な位置情報の推定とを両立させる。
【0030】
図2(b)によれば、画素推定ストリーム1の中で、最終段の画素推定部11の間のみに画素統合部12を含み、特徴推定ストリーム2の中で、最終段の特徴推定部21の間のみに特徴統合部22を含む。
このように、画素統合部12の数及び特徴統合部22の数は、少なくとも1つだけを備えるものであってもよく、メモリの使用量や計算量的コストに基づいて増減させることができる。
【0031】
図3は、本発明における各機能の内部構造を表す構造図である。
【0032】
[画素推定部11]
画素推定部11は、入力画像における各画素の正解クラスを算出するために、畳み込みニューラルネットワークによって構成される。
図3によれば、画素推定部11は、U字型のショートカット構造(入れ子状構造)を有する。U字型ネットワークによれば、畳み込み層、正規化層及び活性化層によって要素数(画素数)を減少させながら画素マップ(pixel map)を作成していく。ここでは、画素推定部11は、例えばResNet(Residual Network)やU-Netと類似する構造を有する。
【0033】
畳み込み層(Convolutional Layer)は、入力データに重みフィルタを充て、その各要素の積の和を、画素マップの1個の要素値とする。そして、入力データに対して重みフィルタをスライディングさせながら、局所特徴を増強した画素マップを生成する。畳み込み層から出力される画素マップについて、サイズはS×Sとなり、その枚数はNとなる。画素マップの枚数Nは、重みフィルタの個数Nと一致する。
そして、同じ重みフィルタを、入力データに対して移動させて、1枚の画素マップを生成する。ここで、移動させる要素の数(移動量)を「ストライド(stride)」と称す。
【0034】
正規化層は、領域内の濃淡値の平均を0とする減算正規化や、分散を正規化する除算正規化を実行する。
【0035】
活性化層は、例えばReLU(Rectified Linear Unit)を用いて、信号の強いニューロンを増強し、弱いニューロンを抑圧する。活性化層から出力されたデータは、各画素に物体がマッピングされた画像データとなる。
【0036】
最後に、異なる段層のストリームを、加算(add)ではなく、線形の連結(concatenate)によって統合する。即ち、画素マップのサイズをS×S×2Nとする。これによって異なる段層の差を混ぜて、ネットワークのオーバーフィット(overfitting, 過剰適合)を防ぐことができる。
尚、U字型ネットワークの段層を深くすることによって、演算量は増加するが、表現力の高い特徴に対する位置を検出することができる。
【0037】
[画素統合部12]
画素統合部12は、画素推定ストリーム1の中で、前段の画素推定部11nから出力された画素マップと、前段の特徴推定部21nから出力された特徴マップとを入力とする。そして、当該特徴マップを当該画素マップに連結又は加算し、当該画素マップを次段の画素推定部11n+1へ出力する。
【0038】
これによって、次段の画素推定部11n+1は、前段の画素推定部11nの推定結果(画素クラス情報)だけでなく、前段の特徴推定部21nの推定結果(物体特徴)も反映した画素マップが入力される。これによって、次段の画素推定部11n+1では、より正確な画素クラスの推定が期待される。一方で、前段の画素推定部11nから出力された画素マップ(画素クラス情報)を直接的に入力するために、学習処理にかかる計算量的コストを削減することもできる。
【0039】
ここで、他の実施形態として、特徴推定部21nから出力される特徴マップのサイズが、画素推定部11nから出力される画素マップのサイズと異なる場合、特徴マップのサイズを、画素マップのサイズにリサイズした後、両方の特徴マップを統合する。そのために、画素統合部12は、特徴マップを、画素マップのサイズに合わせて、アップ/ダウンサンプリングする。その後、画素マップと特徴マップとを、連結又は加算によって統合する。
【0040】
図4は、画素統合部における画素マップの第1のフローを表す説明図である。
【0041】
画素統合部12は、画素推定ストリーム1(前段の画素推定部11n)からの、S×S×Nのサイズの画素マップを入力とする。ここで、特徴推定ストリーム2(前段の特徴推定部21n)からの、例えばS/2×S/2×Nのサイズの特徴マップを入力とする。この場合、特徴マップを、縦2倍・横2倍のS×S×Nのサイズにアップサンプリングする。これによって、アップサンプリング層から出力された特徴マップと、画素推定ストリーム1の画素マップとは、同じサイズとなり、線形に連結することができる。そして、S×S×2Nのサイズの画素マップを、次段の画素推定部11n+1へ出力することができる。
【0042】
逆に、画素推定ストリーム1の画素マップのサイズが、特徴推定ストリーム2の特徴マップのサイズよりも小さい場合、特徴マップを、逆にダウンサンプリングする。これによって、ダウンサンプリング層から出力された特徴マップと、画素推定ストリーム1の画素マップとは、同じサイズとなり、線形に連結することができる。
【0043】
図5は、画素統合部における画素マップの第2のフローを表す説明図である。
【0044】
図5によれば、図4と比較して、統合部分が「連結」ではなく、「加算」となっている。これは、同じサイズの画素マップ及び特徴マップについて、要素毎に加算して、Nとしたものである。S×S×Nのサイズの画素マップを、次段の画素推定部11n+1へ出力することができる。
【0045】
抽象的な画素推定をするため、画素推定部11及び画素統合部12を少なくとも1回以上繰り返すことによって、画素推定ストリーム1に、特徴推定ストリーム2の推定結果を反映することができる。尚、画素推定ストリーム1の流れの中には、アップ/ダウンサンプリングの処理が挿入されないために、Full-Resolutionを保つことができ、入力画像の全画素について推定することができる。
【0046】
[特徴推定部21]
特徴推定部21も、物体の特徴をエンコードするべく、畳み込みニューラルネットワークによって構成される。
図3によれば、特徴推定部21は、畳み込み層、プーリング層(pooling layerやaverage pooling)及び活性化層によって、要素数を減少させながら特徴マップを作成していく。
畳み込み層は、前述した画素数推定部11と同じものである。
プーリング層は、入力された特徴マップから重要な特徴要素のみに縮小した特徴マップを生成し、逆に、非重要な情報を排除する。
活性化層も、前述した画素数推定部11と同じものであり、例えばReLUやsoftmax関数、sigmoid関数に基づくものであってもよい。
高度に抽象的な特徴を抽出するために、これら3つの層を繰り返すことによって、より表現力の高い特徴を抽出することが期待できる。
【0047】
[特徴統合部22]
特徴統合部22は、特徴推定ストリーム2の中で、前段の画素推定部11nから出力された画素マップと、前段の特徴推定部21nから出力された特徴マップとを入力する。そして、特徴マップに画素マップを連結又は加算し、当該特徴マップを次段の特徴推定部21n+1へ出力する。
また、特徴統合部22も、前述した画素統合部12と全く同様に、特徴マップのサイズに合わせて、画素マップをアップ/ダウンサンプリングした後、当該画素マップを当該特徴マップに連結又は加算する。
【0048】
これによって、次段の特徴推定部21n+1は、前段の特徴推定部21nの推定結果(物体特徴)だけでなく、前段の画素推定部11nの推定結果(画素クラス情報)も反映した特徴マップが入力される。これによって、次段の特徴推定部21n+1では、より正確な物体認識の推定が期待される。一方で、前段の特徴推定部21nから出力された特徴マップ(物体特徴)を直接的に入力するために、学習処理にかかる計算量的コストを削減することもできる。
【0049】
[ストリーム統合部3]
ストリーム統合部3は、画素推定ストリーム及び特徴推定ストリームを、最終段で連結又は加算する。
【0050】
図6は、本発明におけるストリーム統合部の内部構造を表す構造図である。
【0051】
図6によれば、ストリーム統合部3は、同一のサイズに合わせた画素マップと特徴マップとを、連結又は加算によって統合している。この場合、その後段に、畳み込み層を挿入することも好ましい。
【0052】
図7は、本発明における推定結果を表す画像図である。
【0053】
図7によれば、入力画像及び正解データに対して、従来技術の画像セグメンテーション結果と、本発明の画像セグメンテーションの結果とが表されている。
従来技術と比較して、本発明は、セグメンテーションの全体的なばらつきが少ないことが理解できる。また、特に、左側面の欄干部分のセグメンテーションも、比較的明確になっていることが理解できる。
【0054】
以上、詳細に説明したように、本発明のプログラムによれば、画素推定と特徴推定との両方を用いて、高い精度の画像セグメンテーションを実現することができる。特に、画素推定ストリームと特徴推定ストリームとの両方の流れの中で、画像をリサイズすることなく、Full-Resolutionを保ったまま、高い精度の画像セグメンテーションを実現することができる。
【0055】
本発明によれば、画素推定ストリームと特徴推定ストリームとの間で、画素マップ及び特徴マップの相互利用を繰り返す中で、高い精度の画像セグメンテーションや物体検出をすることが期待できる。
例えば、人物が映り込む入力画像について、特徴推定ストリームの中で検出できた人物のおおよその位置情報を、画素推定ストリームに与えることによって、より正確な人物の輪郭や領域を得ることができる。一方で、画素推定ストリームの中で検出できた人物のおおよその輪郭や領域を、特徴推定ストリームに与えることによって、より正確に人物の位置を得ることができる。
また、画素推定ストリームや特徴推定ストリームそれぞれについて、画素マップや特徴マップのリサイズが生じることがなく、full-resolutionを保つことで、マップの統合によって解像度の変化で発生した画素クラスや位置・輪郭・領域の学習が必要なくなる。
【0056】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0057】
1 画素推定ストリーム
11 画素推定部
12 画素統合部
2 特徴推定ストリーム
21 特徴推定部
22 特徴統合部
3 ストリーム統合部

図1
図2
図3
図4
図5
図6
図7