(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0028】
以下、添付の図面及び添付の図面に記載された内容を参照して本発明の実施例を詳細に説明するが、本発明が実施例によって制限または限定されるものではない。
【0029】
本明細書で使われる用語は、本発明での機能を考慮して、可能な限り現在広く用いられる一般的な用語を選択したが、これは、当分野に従事する技術者の意図、慣例または新しい技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合には該当する発明の説明部分でその意味を記載することにする。したがって、本明細書で使われる用語は、単なる用語の名称ではなく、その用語が持つ実質的な意味と本明細書の全般にわたった内容に基づいて解釈しなければならないということを明らかにしておく。
【0030】
3次元映像の表現方法は、2つの視点を考慮するステレオスコピック方式、及び3つ以上の視点を考慮するマルチプルビューイメージ(multiple view image)方式(又は、多視点方式)を含むことができる。これに比べて、従来のシングルビューイメージ(single view image)方式はモノスコピック映像方式と称することができる。
【0031】
ステレオスコピック方式は、一定距離離隔している左側カメラ及び右側カメラで同じ被写体を撮影して得たレフトビューイメージ(以下、左映像)とライトビューイメージ(以下、右映像)の一対のイメージを用いる。または、基準映像と付加映像の一対のイメージを用いる。多視点方式は、一定の距離や角度を有する3つ以上のカメラで撮影して得た3つ以上のイメージを用いる。多視点方式は、それぞれの視点においてステレオスコピック方式の左/右映像が提供される方式である。
【0032】
本発明に係るステレオスコピック方式は、サイドバイサイド(Side−by−Side)方式、トップボトム(Top−Bottom)方式、。チェッカーボード(checker board)方式などがある。Side−by−Side方式は、左映像及び右映像をそれぞれ水平方向に1/2ダウンサンプリングし、サンプリングした1つの映像を左(left)領域に、サンプリングした残りの1つの映像を右(right)領域に位置させて1つのステレオスコピック映像を構成する方式であり、トップボトム(Top−Bottom)方式は、左映像及び右映像をそれぞれ垂直方向に1/2ダウンサンプリングし、サンプリングした1つの映像をトップ(Top)領域に、サンプリングした残りの1つの映像をボトム(bottom)領域に位置させて1つのステレオスコピック映像を構成する方式である。checker board方式は、左映像及び右映像をそれぞれ垂直及び水平方向に交差するように1/2ダウンサンプリングして、2つの映像を1つの映像として構成する方式である。しかし、本発明に係るステレオスコピック方式は、上述の例に限定または制限されるものではない。
【0033】
一例として、上述したダウンサンプリング作業を経ずに、完全な解像度を有する2つの映像を送受信して、これを3次元映像サービスとして提供することも可能である。この場合、左映像と右映像をそれぞれ伝送する伝送ストリームを別途に構成することができる。すなわち、特定の伝送ストリームは左映像を伝送し、他の伝送ストリームは右映像を伝送することができる。このとき、それぞれの伝送ストリームは、2次元映像サービスに対するストリームとして活用することができる。
【0034】
図1は、本発明の一実施例に係る、多視点3次元映像のディスプレイ方式を示す図である。
【0035】
図1を参照すると、一つのディスプレイパネルを介して、2つ以上の視点の3次元映像を提供することができる。
【0036】
図1では、3つの視点の3次元映像が提供される方式を示している。それぞれの視点ではステレオ3D映像が提供され得る。このとき、各ステレオ3D映像に含まれるビデオエレメントストリーム(Video Elementary Stream)は、互いに異なる3D映像において共通的に使用可能である。例えば、エレメントストリーム1(ES1)は、3D View IDが0である3D映像では右映像(Right view)として用いられ、3D View IDが1である3D映像では左映像(Left view)として用いられてもよい。エレメントストリーム2(ES2)は、3D View IDが1である3D映像では右映像(Right view)として用いられ、3D View IDが2である3D映像では左映像(Left view)として用いられてもよい。
【0037】
図2は、本発明の一実施例に係る、エッジ妨害を示す図である。
【0038】
視聴者が3次元映像を視聴しながら認識する映像の各部分別の相対的な奥行き感を上から見た図である。中央の円形物体がユーザに最も近く認知され、左右側の長方形がその後ろに配置される。左右側の長方形物体は、ネガティブ・ディスパリティ(negative disparity)を有するので、スクリーンを基準としてユーザに近い位置に在るものと認知される。
【0039】
しかし、これと同時にスクリーンの両縁部に位置するので、スクリーンの枠部分であるベゼルによって長方形の一部分が遮られたようにユーザに認識され得る。したがって、ユーザは、左右側の長方形がスクリーンを基準としてユーザに近い位置に在るものと認知しながらも、スクリーンのベゼルによって長方形が遮られてスクリーンの後ろに位置するものと認知し得るため、奥行き感に混乱を感じるようになる。
【0040】
3次元ステレオ映像は、2次元映像とは異なり、視聴するときの視野角がディスプレイ効果に重要に作用する。例えば、複数の人が横に並んで座ってTVを視聴する場合、2DTVは、皆がほぼ同一の水準の映像を見ることが可能であるが、3DTVは、スイートスポット(sweet spot)が制限的であるため、見る角度/位置に応じて、見える3次元映像の質が変わり得る。したがって、視聴位置に応じてそれぞれの3次元映像をディスプレイする多視点映像ディスプレイ装置(Multiview display device)を使用する場合、それぞれの視聴者は、より良い3次元効果を感じながら3次元映像を視聴することができる。
【0041】
多視点映像3次元サービスでは、各位置(position)別に互いに異なる視点の画面が見えるので、各3次元映像毎に立体感やエッジ妨害(edge violation)現象などが異なる様相を示し、これによって、エッジ妨害(edge violation)現象を除去または緩和するためには、それぞれの3次元映像別に、別途のパラメータが伝送されなければならない。すなわち、エッジ妨害(edge violation)を処理するために、ステレオ3DTVでは、受信端で必要な関連パラメータを放送シグナリングを介して伝送したり、または初めから送信端で予めエッジ妨害を処理したステレオストリームを伝送する2つの方案を用いることができる。しかし、多視点3DTV放送では、1つのストリームがどの視点のステレオ3次元映像に含まれるかによって、エッジ妨害の処理または緩和方案が変わるので、送信端で予めエッジ妨害を除去または緩和する処理を行って伝送する方案は適用しにくい。これによって、受信端で各視点別のパラメータを適切に受信して処理できるようにする放送シグナリングが必要である。
【0042】
このときに考慮される3次元映像は、直接伝送されるストリームであってもよく、受信端で合成(synthesized)された3次元映像であってもよい。映像合成(View synthesis)時に入力される原本映像がエッジ妨害(edge violation)を誘発する場合、これに基づいて生成された新たな3次元映像もまたエッジ妨害(edge violation)を起こすおそれがある。したがって、合成された3次元映像別にエッジ妨害(edge violation)を補強するための情報を伝送すれば、多視点3DTVの視聴時の歪みや不便さを減少させるように処理可能である。
【0043】
したがって、本発明は、多視点3次元映像を提供する3DTVにおいて、多視点3次元ビデオ放送サービスの受信機あるいは送信機の具現に対する方案を提示する。また、シグナリング情報を用いて多視点3次元ビデオの出力を制御するための3DTVの動作及び具現方法を提案する。
【0044】
図3は、本発明の一実施例に係る、エッジ妨害(edge violation)を処理する方法を示す図である。
【0045】
エッジ妨害(Edge violation)を処理する方案の一つとして、送信端でイメージを処理するHIT(Horizontal Image Translation)技法を用いることができる。この方法によれば、送信端では、一対のL,Rステレオ映像に対して境界面で発生する歪み現象を防止するために映像のシフト(shift)及びバー(bar)(cropping)処理を行って3次元映像を伝送する。
【0046】
多視点を考慮しないときには、このようなshift及びbar処理が送信端から適用されて伝送されるシナリオが可能であったが、多視点3DTVでは、各視点別に適用しなければならないshift及びbarが変わり得るので、これを送信端で全て予測し、3次元映像を処理して伝送することは難しいことがある。
【0047】
図3の(a)は、3次元映像に含まれる左映像及び右映像を水平方向に移動処理する方法を示す。
【0048】
図3の(a)を参照すると、エッジ妨害処理機は、3次元映像に含まれる左映像を左側水平方向に移動させ、右映像を右側水平方向に移動させる。このとき、水平方向への移動距離は、エッジ妨害を起こすオブジェクト(object)のディスプレイの大きさによって決定できる。すなわち、当該オブジェクトが画面にディスプレイされないように水平方向に左映像及び右映像を移動させる。
【0049】
エッジ妨害処理機は、左映像及び右映像において、水平方向の移動によって生じた空き領域はbarで満たし、水平方向の移動によってフレームの大きさを超えた領域はクロッピング(トリミング)(cropping)する。
【0050】
このように生成された左映像と右映像から3次元映像を生成することで、エッジ妨害を除去または緩和することができる。すなわち、エッジ妨害の発生が予想される領域をトリミング(cropping)して、エッジ領域では左映像または右映像のいずれか1つの映像に該当する映像のみをディスプレイすることができる。
【0051】
図3の(b)は、3次元映像に含まれる左映像または右映像を水平方向へ移動処理する方法を示す。
【0052】
図3の(b)を参照すると、エッジ妨害処理機は、右映像は原本をそのまま維持するが、左映像のみを左側水平方向に移動させる。左側水平方向に移動された左映像において、フレームの領域を超えることになる領域はトリミング(cropping)され、残った左映像は右映像と結合されて3次元映像を構成する。
【0053】
図4は、本発明の他の実施例に係る、エッジ妨害(edge violation)を処理する方法を示す図である。
【0054】
多視点TVでは、受信したビデオストリームをベースとして新たな任意の視点の3次元映像を生成(又は、合成)することが可能である。このとき、映像合成に用いられた左/右映像ペアにおいてエッジ妨害(edge violation)が存在すれば、合成された結果映像においてもエッジ妨害(edge violation)が存在する可能性がある。この場合、新たに合成された3次元映像でのエッジ妨害(edge violation)を除去、緩和または防止する種々の方法が存在することができる。
【0055】
本発明の一実施例に係る第1の方法は、多数の3次元映像のためのエッジ妨害領域のシグナリングである。(Signaling of Edge violation area for various 3D views)
【0056】
第1の方法によれば、合成された全ての3次元映像に対して3D_edge_handling_info()のような形態で情報をシグナリングすることができる。すなわち、複数の視点の3次元映像に対して、エッジ妨害(edge violation)が起こる領域に対するシグナリング情報を生成し、これを伝送すると、受信機では、3次元映像の合成時に当該視点のエッジ妨害(edge violation)領域情報を参考して、エッジ妨害を除去または緩和することができる。このときに生成されるシグナリング情報は、放送信号及び/又はインターネット信号などを介して受信機に伝達されてもよい。エッジ妨害(edge violation)を補完、除去または緩和するための情報は、エッジハンドリング情報、エッジハンドリングデータ、またはエッジ情報と呼ぶことができる。
【0057】
本発明の他の実施例に係る第2の方法は、エッジ妨害領域測定関数(Edge Violation Area Detector (EVAD)function)のためのシグナリング情報を提供するものである。(Signaling information for Edge Violation Area Detector(EVAD) function)
【0058】
第2の方法によれば、入力は、各左/右映像のカメラ位置に関する情報であり、出力は、エッジハンドリング(Edge Handling)が適用されるピクセル区間の値である、Edge Violation Area Detector(EVAD)関数をシグナリングすることができる。すなわち、第2の方法は、LL_edge_violation_width及びRR_edge_violation_width(又は、LL_edge_pixel_width及びRR_edge_pixel_width)を導出することができる関数の種類及び関連係数を伝達(シグナリング)する方案である。例えば、関連情報の値が線形的(linear)に増加/減少する形態であることを伝達(シグナリング)すれば、関数の種類が線形関数であるという点、及び開始点と終点の値などを通じて関数を定義することができ、その他の異なる種類の関数であれば、追加的な関連係数をシグナリングすることができる。
【0059】
本発明の他の実施例に係る第3の方法は、シグナリング情報なしにエッジ妨害を探知するものである。(Implementation of edge violation detection without signaling information)
【0060】
第3の方法によれば、エッジ妨害(edge violation)を除去、緩和または処理するための情報が別途にシグナリングされない際に、受信端でエッジ妨害(edge violation)領域を自ら探知して処理することができる。このとき、映像合成(view synthesis)を通じて生成された仮想映像(virtual view)に対しては、生成過程でピクセル(pixel)間のマッピング(mapping)情報を通じて、エッジ妨害(edge violation)が発生する領域を導出することが可能である。受信端が映像合成(view synthesis)なしに受信したビデオストリームをそのまま出力する場合には、受信端で別途に左映像と右映像とのフィーチャー・ウォッチング(feature matching)のような処理を通じて、エッジ妨害(edge violation)が発生する領域を導出することができる。feature matchingの一例として、受信機は、左映像及び右映像に含まれるオブジェクトまたはピクセルをそれぞれ探知し、左映像には存在するが、右映像には存在しないオブジェクトまたはピクセル、あるいは左映像には存在しないが、右映像には存在するオブジェクトまたはピクセルがディスプレイされる領域をエッジ妨害領域として探知することができる。
【0061】
図4を参照すると、受信端は、エッジ妨害領域探知機(edge violation area detector)及び/又はエッジ妨害ハンドラー(edge violation handler)を含むことができる。
【0062】
エッジ妨害領域探知機は、特定の視点のために合成された3次元映像の左映像及び右映像においてエッジ妨害が起こる領域を探知する。このとき、エッジ妨害領域の探知は、上述した方法のうちの1つ以上の方法を用いることができる。
【0063】
エッジ妨害ハンドラー(edge violation handler)は、第1の方法によって、それぞれの視点に対する3次元映像において発生するエッジ妨害に関する情報が提供される場合、この情報を用いてエッジ妨害を除去、緩和または処理する。または、エッジ妨害ハンドラー(edge violation handler)は、エッジ妨害領域探知機によって探知されたエッジ妨害領域に関する情報を受信し、この情報を用いてエッジ妨害を除去、緩和または処理することができる。
【0064】
図5は、本発明の一実施例に係る、SEI(Supplemental Enhancement Information)メッセージを介して3D_view_processing_infoをシグナリングする構造を示す図である。
【0065】
ビデオレベルでエッジ妨害(Edge violation)関連情報を伝送する場合、各フレーム(frame)別に又は場面(scene)別にエッジ妨害(Edge violation)領域が変化することに対応することができる。
【0066】
H.264(又は、AVC)Videoの場合には、デコーディング及び出力などのプロセスを補助する情報を含むSEI(Supplemental Enhancement Information)領域に当該情報を伝送することができる。本願発明では、エッジ妨害(Edge violation)情報の伝送のために、ビデオレベルに入るSEIメッセージを指定することができる。
図5は、3D_view_processing_infoをシグナリングするSEIメッセージを指定する場合の実施例である。一実施例として、payloadTypeフィールドの値が‘50’である場合、3D_view_processing_infoが伝送されるSEIメッセージであることを示すことができる。
【0067】
エッジ妨害(Edge violation)情報または3次元エッジハンドリング情報(3D Edge Handling Info)は、多視点3次元映像の各視点の映像において発生するエッジ妨害(edge violation)を除去、緩和または処理のための情報のことをいう。エッジ妨害(Edge violation)情報または3次元エッジハンドリング情報(3D Edge Handling Info)は3D_view_processing_infoを含む。
【0068】
図6は、本発明の一実施例に係る、3D_view_processing_infoのシンタックス(syntax)を示す図である。
【0069】
エッジ妨害(Edge violation)が起こる部分を処理するために、上述したシフト・アンド・バー(shift and bar)方案を用いてもよく、あるいはshiftなしにbar処理のみを行う方法(Floating window)、またはbar処理は行わずに、トリミング(cropping)と部分的なスケーリング(scaling)を通じて処理する方法などを用いることができる。各処理方法毎に適用されるパラメータがそれぞれ異なるので、これをシグナリングするエッジ妨害ハンドリングデータ(Edge violation Handling data)またはエッジ妨害(Edge violation)情報の伝送方案が必要である。エッジ(Edge)処理関連データは、ビデオコンテンツ(video contents)に対するメタデータ(metadata)として与えられてもよい。
【0070】
本発明の一実施例に係る3次元映像プロセシング情報(3D_view_processing_info)は、3D_view_processing_info_idフィールド、3D_view_processing_update_flagフィールド、num_3D_viewsフィールド、3D_view_IDフィールド、3D_view_priorityフィールド、synthesized_L_flagフィールド、synthesized_R_flagフィールド、Left_view_IDフィールド、L_camera_parameter_exist_flagフィールド、L_cam_baseline_distanceフィールド、right_view_IDフィールド、R_camera_parameter_exist_flagフィールド、R_cam_baseline_distanceフィールド、3D_edge_handling_info()エレメント、及び/又は3D_EVAD_funtion_info()エレメントを含む。
【0071】
3D_view_processing_info_idフィールドは、3次元映像プロセシング情報を固有に識別する情報である。
【0072】
3D_view_processing_update_flagフィールドは、現在伝送される3次元映像プロセシング情報が、以前に伝送された情報と同一であるか、それとも新たにアップデートされなければならないかを知らせるフィールドである。3D_view_processing_update_flagフィールドは、アップデートが必要な場合に‘1’に設定され、以前と同じ場合に‘0’に設定される。
【0073】
num_3D_viewsフィールドは、現在のプログラム、チャネル、またはサービスに含まれた3次元映像(左映像、右映像のペア)、及び/又はシグナリングする仮想3次元映像の数を示すフィールドである。
【0074】
3D_view_IDフィールドは、各3次元映像を識別することができる値を示すフィールドである。
【0075】
3D_view_priorityフィールドは、3次元映像の優先順位を示すフィールドである。
【0076】
synthesized_L_flagフィールドまたはsynthesized_R_flagフィールドは、3次元映像を構成する左映像又は右映像が受信機で合成して作られる映像であるか、それとも実際に伝送される映像であるかを知らせるフィールドである。Synthesized_X_flagの値が‘0’であれば、当該viewは実際に伝送されるビデオ映像であることを意味し、‘1’であれば、受信機で合成(synthesis)を通じて作られる仮想映像であることを意味する。
【0077】
Left_view_IDフィールドまたはRight_view_IDフィールドは、3次元映像を構成する左映像及び/又は右映像が実際に伝送される場合、当該3次元映像の左映像及び/又は右映像に含まれるビデオストリームが何かを示す識別子である。場合によって、この値は、左映像ビデオまたは右映像ビデオのPID値で代替してもよい。
【0078】
L_camera_parameter_exist_flagフィールドまたはR_camera_parameter_exist_flagフィールドは、映像に対するカメラパラメータ(view synthesisのために必要なパラメータ)値が存在するか否かを知らせるフィールドである。例えば、MVCコーデックの場合、カメラパラメータはMultiview_acquisition_info SEI messageを介して伝送され、各view ID別のcamera parameterが存在するので、このようなSEIメッセージが別途に伝送されるかを知らせるフィールドである。または、camera_parameter_exist_flagを伝送する代わりに、該当するカメラパラメータセット(camera parameter set)のID値自体を伝送することも可能である。このとき、Multiview_acquisition_info SEI messageにおいてシグナリングされるintrinsic camera parameterは、各映像別に存在するか、または全ての映像に対する共通パラメータセット(parameter set)が存在することができ、extrinsic camera parameterは、各映像別に別途のパラメータセット(parameter set)が存在するので、カメラパラメータをintrinsic camera parameterとextrinsic camera parameterの2種類に分離して識別子を伝送する方案もある。
【0079】
映像合成(View synthesis)のためには、Camera parameter以外にvideo viewと同じ視点のdepth mapが存在するか否かもシグナリングする必要があり得、L_depth_map_exist_flag及び/又はR_depth_map_exist_flagなどのフィールドをシグナリングするように設定することができる。L_depth_map_exist_flagフィールドまたはR_depth_map_exist_flagフィールドは、左映像または右映像のためのdepth mapが存在するか否かを知らせるフィールドである。
【0080】
L_cam_baseline_distanceフィールドまたはR_cam_baseline_distanceフィールドは、仮想の左映像または仮想の右映像の視点情報を示すフィールドである。映像合成(View synthesis)処理過程で入力値として入力される値であり、ビュー合成(view synthesis)方案が何かによって、入力値としてカメラ・パラメータ(camera parameter)が必要な場合またはcamera parameterの部分情報が必要な場合などがあるので、方案に応じて関連情報が伝送され得るようにフィールドを設定することができる。L_cam_baseline_distanceフィールドまたはR_cam_baseline_distanceフィールドは、仮想映像を撮影する仮想カメラの位置を示す情報であってもよい。例えば、L_cam_baseline_distanceフィールドまたはR_cam_baseline_distanceフィールドは、baseline上で仮想の左映像撮影カメラあるいは仮想の右映像撮影カメラの相対的位置を示すことができる。
【0081】
以上で説明したフィールドまたは情報は、受信機において新たな視点の仮想3次元映像(仮想の左映像、仮想の右映像)を合成するための情報として用いることができる。
【0082】
3D_edge_handling_info()エレメント及び3D_EVAD_funtion_info()エレメントについては後述する。
【0083】
図7は、本発明の一実施例に係る、3D_edge_handling_info()エレメントのシンタックス(syntax)を示す図である。
【0084】
エッジ(Edge)処理関連データは、ビデオコンテンツに対するmeta dataとして与えられてもよく、
図7のように、3D_edge_handling_info()エレメントを介して伝送されてもよい。このとき、エッジ妨害(Edge violation)が起こる部分を処理するために、上述したshift and bar方案を用いてもよく、あるいはshiftなしにbar処理のみを行う方法(Floating window)、またはbar処理は行わずに、croppingと部分的なscalingを通じて処理する方法などを用いてもよい。各処理方法毎に適用されるパラメータがそれぞれ異なるので、これをシグナリングするエッジ妨害ハンドリングデータ(Edge violation Handling data)の伝送方案が必要である。
【0085】
エッジ妨害(Edge violation)という左右視覚での不一致歪みを防止する方法は、上述したように、放送局で3Dコンテンツ自体に予め後処理を施した後に送る方法、推奨するエッジハンドリング(edge handling)方式のパラメータを送る方法(floating window/vertical edge treatment/HIT parameter)、または推奨するvertical edge treatment parameterを送る方法などがある。状況に応じて各エッジ(edge)毎に異なる方法が適用されてもよく、フレーム別に適用方法が変わってもよい。
【0086】
このとき、3次元映像のエッジ(edge)別にwindow violationが発生するか否かを知らせるためのedge_violation_flagを別途に設けることもできる。例えば、edge_violation_flagの値が‘00’である場合、3次元映像の左側エッジと右側エッジ(edge)の両方でエッジ妨害(edge violation)が発生しないことを示すことができる。edge_violation_flagの値が‘01’である場合、3次元映像の右側エッジ(edge)でのみエッジ妨害(edge violation)が発生することを示すことができる。edge_violation_flagの値が、‘10’である場合、3次元映像の左側エッジ(edge)でのみエッジ妨害(edge violation)が発生することを示すことができる。edge_violation_flagの値が‘11’である場合、3次元映像の両側エッジ(edge)の両方でエッジ妨害(edge violation)が発生することを示すことができる。このようなedge_violation_flagをシグナリングすると、受信端で当該3次元映像を後処理を行うか否かを判断可能である。edge_violation_flagは、3D_view_processing_infoまたは3D_edge_handling_info()エレメントに含まれてもよい。
【0087】
3D_edge_handling_info()エレメントは、3D_edge_handling_update_flagフィールド、LL_edge_pixel_widthフィールド、RR_edge_pixel_widthフィールド、L_handling_typeフィールド、R_handling_typeフィールド、LL_stretch_start_pixelフィールド、LL_stretch_width_pixelフィールド、LL_stretch_parameter()エレメント、RR_stretch_start_pixelフィールド、RR_stretch_width_pixelフィールド、RR_stretch_parameter()エレメント、及び/又はEH_min_disparityフィールドを含む。
【0088】
3D_edge_handling_update_flagフィールドは、現在伝送される3次元エッジハンドリング情報が、以前に伝送された情報と同一であるか、それとも新たにアップデートされなければならないかを知らせるフィールドである。3D_edge_handling_update_flagフィールドの値は、Updateが必要な場合に‘1’に設定され、以前と同じ場合に‘0’に設定される。
【0089】
LL_edge_pixel_widthフィールド及びRR_edge_pixel_widthフィールドは、それぞれ、左映像の左側エッジ(Left edge)に存在するエッジ妨害(edge violation)領域のピクセル数、及び右映像の右側エッジ(Right edge)に存在するエッジ妨害(edge violation)領域のピクセル数を意味する。もし、LL_edge_pixel_widthフィールドの値が‘0’であれば、左映像の左側エッジにはエッジ妨害(edge violation)が起こらないことを意味し、このとき、3次元映像のエッジ(edge)別にwindow violationが発生するか否かを知らせるためのedge_violation_flagフィールドが別に存在することができる。
【0090】
L_handling_typeフィールド及びR_handling_typeフィールドは、それぞれ、左映像または右映像に適用されるエッジ妨害(edge violation)の処理方法を指定する。例えば、当該フィールドの値が‘00’である場合、Preprocessed(pre−handled)、すなわち、送信端でエッジ妨害が既に処理されて伝送されることを示すことができる。当該フィールドの値が‘01’である場合、Bar(Floating window)recommended、すなわち、エッジ妨害(edge violation)が発生する領域にbar処理を行う方法が推奨されることを示すことができる。当該フィールドの値が‘10’である場合、Crop and stretch(Vertical edge treatment)recommended、すなわち、cropとstretchの方法でエッジ妨害(edge violation)を処理することが推奨されることを示すことができる。当該フィールドの値が‘11’である場合、Shift and bar(HIT)recommended、すなわち、エッジ妨害(edge violation)が発生する領域の区間の分だけ映像をshiftさせた後、フレームの外に出た部分は捨て、フレーム内に残った部分にはbar処理を行う方法が推奨されることを示すことができる。
【0091】
LL_stretch_start_pixelフィールド及びRR_stretch_start_pixelフィールドは、L_handling_typeフィールド及びR_handling_typeフィールドの値が‘10’であるときに適用されるもので、それぞれ、左映像の左側エッジ及び右映像の右側エッジを基準としてstretchが始まる領域を示す。
【0092】
LL_stretch_width_pixelフィールド及びRR_stretch_width_pixelフィールドは、L_handling_typeフィールド及び/又はR_handling_typeフィールドの値が‘10’であるときに適用されるもので、それぞれ、stretchが始まる領域を基準としてstretchされる領域の面積を示す。
【0093】
LL_stretch_parameter()エレメント及びRR_stretch_parameter()エレメントは、L_handling_typeフィールド及び/又はR_handling_typeフィールドの値が‘10’であるときに適用される値であって、crop and stretch方案を用いるとき、stretch時に用いられるパラメータを含むことができる。
【0094】
EH_min_disparityフィールドは、エッジ妨害(Edge violation)に対して後処理が施された後の最小ディスパリティ(disparity)値を意味する。スクリーンの前方で発生するエッジ妨害(edge violation)が遮断されると、それによって最小ディスパリティ(min disparity)値が変化し得るので、受信機でエッジハンドリング処理が行われたステレオ映像にOn Screen Display(OSD)を表示させるとき、この値を考慮してOSDのディスプレイの奥行(depth)を決定することができる。全体disparity範囲を知らせるためにEH_max_disparityフィールドも共に伝送するシナリオも可能であり、場合によって、原映像のdisparity範囲まで伝送するように設定することもできる。または、disparity_range_change_flagというフィールドを別に設け、エッジハンドリングの適用後にdisparity range(min.,max.disparity値)が変化したか、またはそのままであるかをシグナリングするように設定することもできる。
【0095】
ここで、ディスパリティ(disparity)とは、3次元映像の1つのオブジェクトが左映像及び右映像に位置するとき、各映像に位置する当該オブジェクトの水平距離の差を示す。ディスパリティ値に応じて、視聴者が感じる当該オブジェクトの奥行き感(depth)が変わり得る。
【0096】
図8は、本発明の一実施例に係る、3次元エッジ妨害領域探知関数情報(3D_EVAD_function_info())エレメントを示す図である。
【0097】
3次元映像を構成する左映像と右映像が全て実際に伝送されるビデオである場合、受信端では、当該3次元映像をベースとして新たな仮想3次元映像を生成するシナリオが可能である。このとき、受信された左映像、右映像に存在するエッジ妨害(edge violation)領域は、前述した3次元エッジハンドリング情報(3D Edge Handling Info)などを通じて知ることができるが、受信端で任意に選択した視点の仮想の左映像、右映像のエッジ妨害(edge violation)領域は、前述した方法の内容のみでは知ることができない。したがって、受信端では、生成しようとする仮想3次元映像のカメラ視点(カメラ撮影位置)が何かに応じて、生成された各左映像、右映像のエッジ妨害(edge violation)領域を導出する方案が必要である。
【0098】
本発明によれば、3次元エッジ妨害領域探知関数(3D EVAD(Edge Violation Area Detection)function)は、映像合成(view synthesis)に用いられる、受信した左映像、右映像のカメラパラメータ情報、その他の付加情報(左映像、右映像のdepth情報など)、そして、各左映像、右映像のエッジ妨害(edge violation)領域情報に基づいて、任意のカメラ視点でのエッジ妨害(edge violation)領域のピクセル値を導出することができるようにする関数である。例えば、1D parallel形態で配列されたカメラにおいて、その基準線(baseline)上に置かれた任意の視点でのエッジ妨害(edge violation)領域情報を導出する関数があり得る。このような場合、カメラの視点位置はベースライン・ディスタンス(baseline distance)の形態で表現することができ、関数は、このカメラのbaseline distance値を入力値として受けて、その視点でのエッジ妨害(edge violation)領域情報を出力することになる。baseline distanceは、baseline上でのカメラの位置を示す値であってもよい。
【0099】
図8は、左映像カメラと右映像カメラの位置の中心点を基準としてカメラ位置(camera position)値を正規化(normalize)させた場合の3D EVAD functionである。すなわち、L_cam_position(又は、R_cam_position)を1とし、2つのカメラ間の中間となる地点のcamera positionを0とするとき、0から1まで増加するこのcamera positionの値を入力値とし、左映像の左側エッジ(又は、右映像の右側エッジ)におけるエッジ妨害(edge violation)領域のピクセル数を出力値とする関数(function)をシグナリングする。ここで、L_cam_positionは、左映像を撮影するカメラの位置を示す値であり、R_cam_positionは、右映像を撮影するカメラの位置を示す値である。L_cam_positionフィールド及びR_cam_positionフィールドは3D_EVAD_function_info()エレメントに含まれてもよい。または、L_cam_positionフィールドとR_cam_positionフィールドは、それぞれ、前述したL_cam_baseline_distanceフィールドとR_cam_baseline_distanceフィールドに対応することができる。
【0100】
3D_EVAD_function_info()エレメントは、LL_function_typeフィールド、RR_function_typeフィールド、LL_coefficientフィールド、及び/又はRR_coefficientフィールドを含む。
【0101】
LL_function_typeフィールド及びRR_function_typeフィールドは、3D EVAD functionの種類が何かを知らせるフィールドである。関数の種類は種々あり、一実施例として、当該フィールドの値が‘1’の場合に‘linear function’を示すことができる。
【0102】
LL_coefficientフィールド及びRR_coefficientフィールドは、前述した関数の係数を示すフィールドであり、XX_function_typeが‘linear function’である場合、関数は、次のように定義することができる。
【0103】
{XX_edgeのedge violation領域を示すピクセル数=XX_coefficient
*X_cam_position+XX_edge_pixel_width}
【0104】
以上で説明したように、基本的に、エッジ妨害情報は各フレーム別に変化する可能性が高いので、ビデオレベルのシグナリングが適している。しかし、場合によっては、scene別、event別、program/channel/service別に同一のエッジ妨害ハンドリング情報を適用することもできる。送信端で推奨する区間別エッジ妨害ハンドリング方案がある場合、先にビデオレベルでシグナリングされた情報がイベントまたはシステム単位で伝送されてもよい。すなわち、ATSC PSIPまたはDVB SIのEITのようなevent単位の情報伝送が可能なテーブルに新たなdescriptorを入れてevent単位の情報を伝送するか、またはPMT/VCT/SDTなどのようなsystemレベルの情報伝送が可能なテーブルに新たなdescriptorを入れてprogram/channel/service単位の情報を伝送するものである。このようなdescriptorには、前述したフィールドまたはエレメントの情報が含まれてもよい。
【0105】
Scene別にエッジ妨害ハンドリング情報を伝送しようとする場合、システムレベルの記述子内にsceneの区間情報(各sceneの開始時間及び終了時間)をさらに伝送することができる。または、エッジ妨害ハンドリング情報を時間による区間単位で構成して、別途のprivate stream形態で伝送することができる。この場合、ビデオ信号とエッジ妨害ハンドリング情報ストリームを同期化する手順が必要であり、このような同期化を通じて3次元映像のエッジ妨害を処理することができる。
【0106】
図9は、本発明の一実施例に係る、エッジハンドリング情報(edge handling information)がシグナリングされる場合を示す図である。
【0107】
図9の(a)を参照すると、3次元放送システムは、3つの視点(3D view 0、3D view 1、3D view 2)の3次元映像を提供する。3D view 0の3次元映像はビデオ0とビデオ1を含む。3D view 1の3次元映像はビデオ1とビデオ2を含む。3D view 2はビデオ2とビデオ3を含む。送信端では、前述したシグナリング方案を通じて、各視点でのエッジハンドリング情報を提供することができる。また、受信機で合成が可能な他の視点での3次元映像に対するエッジハンドリング情報も共にシグナリングすることができる。
【0108】
図9の(b)を参照すると、3D view 0の視点の3次元映像はビデオ0とビデオ1を含むことができる。送信端では、ビデオ0を撮影したカメラの位置、ビデオ1を撮影したカメラの位置情報、ビデオ0でのエッジ妨害領域の面積、ビデオ1でのエッジ妨害領域の面積に関する情報がシグナリングされてもよい。例えば、3D view 0の視点の3次元映像に対して、L,R camera position(0,1)、Edge violation width pixel:(LL,RR)=(24,8)のような情報がシグナリングされ得る。L,R camera position(0,1)は、左映像を撮影したカメラの位置がbaselineの基準地点に位置し、右映像を撮影したカメラの位置が‘1’だけ基準線から離れているという情報である。Edge violation width pixel:(LL,RR)=(24,8)は、左映像の左側エッジにおいて24ピクセルの面積の領域でエッジ妨害が発生し、右映像の右側エッジにおいて8ピクセルの面積の領域でエッジ妨害が発生することを示す。
【0109】
3D view 1の視点の3次元映像はビデオ1とビデオ2を含むことができる。送信端では、ビデオ1を撮影したカメラの位置、ビデオ2を撮影したカメラの位置情報、ビデオ1でのエッジ妨害領域の面積、ビデオ2でのエッジ妨害領域の面積に関する情報がシグナリングされてもよい。例えば、3D view 1の視点の3次元映像に対して、L,R camera position(1,2)、Edge violation width pixel:(LL,RR)=(3,36)のような情報がシグナリングされ得る。L,R camera position(1,2)は、左映像を撮影したカメラの位置がbaselineの基準地点から‘1’だけ離れて位置し、右映像を撮影したカメラの位置が‘2’だけ基準線から離れているという情報である。Edge violation width pixel:(LL,RR)=(3,36)は、左映像の左側エッジにおいて3ピクセルの面積の領域でエッジ妨害が発生し、右映像の右側エッジにおいて36ピクセルの面積の領域でエッジ妨害が発生することを示す。
【0110】
送信端では、受信端で合成可能な他の視点の3次元映像に対してエッジハンドリング情報をシグナリングすることができる。Synthesized 3D view Xの視点の3次元映像は、合成されたビデオ0.5及び合成されたビデオ1.5を含むことができる。合成されたビデオ0.5及び合成されたビデオ1.5は、受信端で受信したビデオデータを用いて新たに生成したビデオデータである。すなわち、受信端で新たな視点の3次元映像を提供するために合成したビデオデータである。送信端では、ビデオ0.5を撮影すると期待される仮想カメラの位置、ビデオ1.5を撮影すると期待される仮想カメラの位置情報、ビデオ0.5において発生が予想されるエッジ妨害領域の面積、ビデオ1.5において発生が予想されるエッジ妨害領域の面積に関する情報をシグナリングすることができる。例えば、送信端では、L,R camera position(0.5,1.5)、Edge violation width pixel:(LL,RR)=(10,25)のような情報をシグナリングすることができる。L,R camera position(0.5,1.5)は、左映像のための仮想カメラの位置がbaselineの基準地点から‘0.5’だけ離れて位置し、右映像のための仮想カメラの位置が‘1.5’だけ基準線から離れているという情報である。Edge violation width pixel:(LL,RR)=(10,25)は、左映像の左側エッジにおいて10ピクセルの面積の領域でエッジ妨害が発生し、右映像の右側エッジにおいて25ピクセルの面積の領域でエッジ妨害が発生することを示す。すなわち、送信端では、仮想のカメラ位置に応じて、左映像及び右映像において発生が予想されるエッジ妨害領域に対する情報をシグナリングすることができる。
【0111】
図10は、本発明の一実施例に係る、受信端で仮想3次元映像に対するエッジハンドリング情報を導出することができるように関連関数をシグナリングする場合を示す図である。
【0112】
前述したように、多視点TVで合成された3次元映像のエッジ妨害領域情報(エッジハンドリング情報)を受信機で導出することができる。3D view 0の左映像(ビデオ0)、右映像(ビデオ2)及び関連情報(L_cam_position,LL_edge_pixel_width,R_cam_position、RR_edge_pixel_width)を入力値として、Synthesized 3D view 0とsynthesized 3D view 1のedge violation pixel widthを導出することができ、このとき、シグナリングされたLL_function_type、LL_coefficient、RR_function_type、RR_coefficient値を用いる。シグナリングされるパラメータまたはフィールドに対する説明は、前述した内容で代替する。
【0113】
図9で前述した方法によれば、各合成された3次元映像毎のedge violation pixel width値自体を伝送したので、任意のカメラ位置を有するsynthesized 3D viewのedge violation pixel width情報を知ることができない場合が発生することがあり、したがって、伝送された特定のカメラ位置の3次元映像に対するエッジハンドリング情報のみを知ることができる。これに反して、
図10のように、受信端で仮想3次元映像に対するエッジハンドリング情報を導出できるように関連関数をシグナリングする場合、各区間別にedge violation pixel widthを導出できる関数がシグナリングされるので、区間内に存在する全ての3次元映像ペアに対するエッジハンドリング情報を導出することができる。
【0114】
図11は、本発明の一実施例に係る、別途のシグナリングなしに受信機自体でエッジ妨害ハンドリングを行うための数式を示す図である。
【0115】
受信端の映像合成(View synthesis)過程で映像の各ピクセルを新たな視点の映像にマッピングする過程を経るので、新たな視点の各ピクセルが既存映像のどのピクセルに対応するかを知ることができ、これを通じて、受信機は、新たに構成した3次元映像ペア(左映像、右映像)のエッジ妨害領域に対する情報を抽出することができる。
【0116】
すなわち、3次元映像の左側エッジに在るエッジ妨害領域は、右映像には存在しないが、左映像にのみ存在する領域又はオブジェクトに該当することができる(式1−1,2−1)。3次元映像の右側エッジに在るエッジ妨害領域は、左映像には存在しないが、右映像にのみ存在する領域又はオブジェクトに該当することができる(式1−2,2−2)。新たに合成した映像ではなく受信した3次元映像のエッジ妨害情報もまた、feature matchingなどの技法を通じてエッジ妨害領域を導出することができる(式1−1及び式1−2)。
【0117】
すなわち、(式1−1)を参照すると、左映像(V1)には存在するピクセル(p)が右映像(V2)には存在しない場合、当該ピクセルは左側エッジ妨害領域に位置するものと判断することができる。
【0118】
(式1−2)を参照すると、左映像(V1)には存在しないピクセル(p)が右映像(V2)には存在する場合、当該ピクセルは右側エッジ妨害領域に位置するものと判断することができる。
【0119】
(式2−1)を参照すると、左映像(V1)には存在するピクセル(p)が合成された右映像(S12)には存在しない場合、合成された3次元映像において当該ピクセルは左側エッジ妨害領域に位置するものと判断することができる。
【0120】
(式2−2)を参照すると、左映像(V1)には存在しないピクセル(p)が合成された右映像(S12)には存在する場合、合成された3次元映像において当該ピクセルは右側エッジ妨害領域に位置するものと判断することができる。
【0121】
このような方式を用いて、受信機は、それぞれのピクセルに対するエッジ妨害領域の存在有無を判断して、最終的に受信した3次元映像(又は、合成された3次元映像)においてエッジ妨害が発生する領域を判断することができる。
【0122】
図12は、本発明の一実施例に係る、別途のシグナリングなしに受信機自体でエッジ妨害ハンドリングを行う場合を示す図である。
【0123】
V1とV2は、受信したステレオ3次元映像の左映像及び右映像であり、V1とS12は、受信端で新たに合成したステレオ3次元映像の左映像及び右映像である。S12は、V1とV2に基づいて合成(Synthesize)された映像であり、V1は、受信した映像と同一である。このとき、図において陰影処理された部分は、エッジ妨害が発生した領域を意味する。
【0124】
例えば、
図11で前述した方式を適用するとき、1つのフレーム内で垂直に配列されたピクセルのいずれか1つでもエッジ妨害領域に含まれるものと判断されると、受信機は、当該垂直に配列されたピクセルの全てがエッジ妨害領域に含まれるものと判断するように設定されてもよい。
【0125】
図13は、本発明の一実施例に係る多視点3次元映像受信機を示す図である。
【0126】
本発明の一実施例に係る3次元映像受信機は、チューナー及び復調部(tuner&demodulator)13010、VSBデコーダ(VSB decoder)13020、TP逆多重化部(TP demux)13030、depthデコーダ(depth decoder)13040,13042,13044、ビデオデコーダ(video decoder)13050,13052,13054、3次元仮想映像合成部(3D virtual view synthesis)13060、仮想映像処理部(virtual view processor)13070,13072、ビデオ選択部(video selector)13080、3次元エッジハンドリング及び映像処理部(3D edge handling&view processing)13090、PSI/PSIP/SI処理部(PSI/PSIP/SI processor)13100、3次元映像情報処理部(3D view info processing)13110及び/又は出力フォーマッタ(output formatter)13120を含む。
【0127】
チューナー及び復調部13010は放送信号を受信する。チューナー及び復調部13010は放送信号を復調する。
【0128】
VSBデコーダ13020は、変調方式に応じた復調を行う。VSBデコーダ13020は、VSB方式で変調された信号、OFDM方式で変調された信号などを復調する。VSBデコーダ13020は、前述したチューナー及び復調部13010に含まれてもよく、別途に存在してもよい。
【0129】
TP逆多重化部13030は、放送信号内のトランスポートストリームまたはトランスポートストリームパケットを抽出する。
【0130】
デプス(depth)デコーダ13040,13042,13044は、放送信号に含まれたdepth関連情報をデコーディングする。Depth関連情報は、放送パケット、トランスポートパケット、データセグメント、ビデオヘッダーまたはビデオアクセスユニットヘッダーの形態で伝送されてもよい。それぞれのdepthデコーダは、それぞれの3次元映像に含まれるそれぞれの映像に対するdepth情報をデコーディングする。
【0131】
ビデオデコーダ13050,13052,13054は、放送信号に含まれた各ビデオ映像をデコーディングする。ビデオデコーダは、3次元映像に含まれる各映像をデコーディングする。例えば、ビデオデコーダは、ベース映像(左映像または右映像)をデコーディングするベース映像ビデオデコーダ13050、及び/又は追加映像(ベース映像が左映像である場合には右映像、ベース映像が右映像である場合には左映像)をデコーディングする追加映像ビデオデコーダ13052,13054を含むことができる。追加映像は、基本視点の3次元映像を作るためのビデオ映像、及び/又は追加視点の3次元映像を作るためのビデオ映像を含む。
【0132】
3次元仮想映像合成部13060は、デコーディングされたベース映像及び/又は追加映像を用いて、仮想の映像を生成する。3次元仮想映像合成部13060は、放送信号を介して伝送される視点以外に他の視点の3次元映像に含まれるビデオ映像を生成することができる。3次元仮想映像合成部13060は、ビデオ映像を生成する過程でPSI、PSIP、またはDVB−SIに含まれるシグナリング情報を利用することができる。3次元仮想映像合成部13060は、ビデオ映像を生成する過程において、3次元映像情報処理部13110で獲得された情報を利用することができる。
【0133】
仮想映像処理部13070,13072は、合成された仮想映像を分離して処理する。仮想映像処理部13070,13072は、それぞれの視点に3次元映像に含まれる合成された仮想映像を識別する。
【0134】
ビデオ選択部13080(video selector)は、多視点ディスプレイの各3次元視点単位で出力する2つのビデオ映像(ビデオストリーム)を選択する。各視点の3次元映像に含まれるビデオ映像またはビデオストリームは、デコーディングされた(即ち、放送信号に含まれた)ビデオ映像または合成された仮想ビデオ映像であってもよい。
【0135】
3次元エッジハンドリング及び映像処理部13090は、前述した方式のうちの1つ以上の方式により、各視点の3次元映像に発生し得るエッジ妨害を処理する。エッジ妨害を処理する詳細な内容は、前述した説明で代替する。3次元エッジハンドリング及び映像処理部13090は、エッジハンドリングを行う過程でエッジハンドリング情報またはエッジハンドリング情報生成のための関数情報を利用することができる。3次元エッジハンドリング及び映像処理部13090は、送信端でエッジハンドリング関連情報がシグナリングされない場合、各ビデオ映像を比較してエッジ妨害領域を抽出し、抽出されたエッジ妨害領域に対するエッジハンドリングを行うことができる。
【0136】
PSI/PSIP/SI処理部13100は、放送信号に含まれたシグナリング情報をパージングする。シグナリング情報は、PSI、PSIP、またはDVB−SIなどの情報を含む。PSI、PSIP、またはDVB−SIは、プログラムマップテーブル(Program Map Table;PMT)、仮想チャネルテーブル(Virtual Channel Table;VCT)、イベント情報テーブル(Event Information Table;EIT)またはサービスディスクリプションテーブル(Service Description Table;SDT)を含む。
【0137】
3次元映像情報処理部13110は、ビデオレベルのSEIメッセージ、またはPSI、PSIP、又はDVB−SIレベルのディスクリプター(descriptor)を介して伝送される3次元映像関連情報を獲得する。ここで、3次元映像関連情報は、depthマップ情報、カメラパラメータ、エッジハンドリング情報、エッジハンドリング情報を生成するための関数情報、3次元映像プロセシング情報及び/又は前述した情報などを含むことができる。
【0138】
出力フォーマッタ(output formatter)13120は、エッジハンドリングが行われた各視点の3次元映像を出力形態でフォーマッティングしてディスプレイされ得るように処理する。
【0139】
以上で説明したように、本発明では、多視点3DTVにおいて各3次元映像別にエッジ妨害(edge violation)が起こる視点にエッジハンドリング(edge handling)方法を適用して適切な奥行き感を提供する環境を作るために必要な各種変数及びデータを整理し、これを活用する方案を提示した。
【0140】
本発明によれば、多視点3次元映像を視聴する場合にも、それぞれの視点においてエッジハンドリングが可能である。
【0141】
本発明によれば、送信端から伝送されない視点の3次元映像に対しても、エッジハンドリングが可能である。
【0142】
本発明によれば、送信端からエッジハンドリングに必要な情報(エッジ妨害情報)が提供されない場合にも、受信機でエッジハンドリングを行うことができる。
【0143】
本発明に係る方法発明はいずれも、様々なコンピュータ手段を介して行うことができるプログラム命令の形態で具現されて、コンピュータ可読媒体に記録されてもよい。
【0144】
前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能であるものであってもよい。コンピュータ可読記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体(magnetic media)、CD−ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気−光媒体(magneto−optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラにより作られるもののような機械語コードだけでなく、インタプリターなどを使用してコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【0145】
以上のように、本発明は、たとえ限定された実施例と図面によって説明されたが、本発明は上記の実施例に限定されるものではなく、本発明の属する分野における通常の知識を有する者なら、このような記載から様々な修正及び変形が可能である。したがって、本発明の範囲は説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。
〔発明を実施するための形態〕
【0146】
上述したように、発明を実施するための最良の形態で、本発明と関連する事項を記述した。