特許 6245594 映像処理装置及び映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245594

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】映像処理装置及び映像処理方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20171204BHJP

   H04N 13/00 20060101ALI20171204BHJP

   H04N 13/02 20060101ALI20171204BHJP

   H04N 21/236 20110101ALI20171204BHJP

   H04N 21/854 20110101ALI20171204BHJP

【ＦＩ】

   H04N5/225

   H04N13/00 030

   H04N13/02

   H04N21/236

   H04N21/854

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2012-135641(P2012-135641)

(22)【出願日】2012年6月15日

(65)【公開番号】特開2014-3357(P2014-3357A)

(43)【公開日】2014年1月9日

【審査請求日】2014年12月11日

【審判番号】不服2016-7407(P2016-7407/J1)

【審判請求日】2016年5月20日

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(72)【発明者】

【氏名】森川 治

【合議体】

【審判長】 鳥居 稔

【審判官】 清水 正一

【審判官】 渡辺 努

(56)【参考文献】

【文献】 特開２００３−３０４５６２（ＪＰ，Ａ）

【文献】 特開２００５−１７５９７０（ＪＰ，Ａ）

【文献】 特開２００３−１１１０４１（ＪＰ，Ａ）

【文献】 特開２００６−２１１６７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 5/225

H04N 13/00 - 13/04

H04N 21/00 - 21/858

(57)【特許請求の範囲】

【請求項1】

撮像部でオブジェクトを撮像した映像データである撮像画像データを走査線毎に複数のオブジェクトの画像データに分割する画像データ分割部、
分割された前記画像データごとにIDを有する画像データパケットを生成するパケット生成部、及び
同一のIDが付与された前記画像データパケットをまとめて出力することで分割映像データを出力する出力部であって、まとめて出力する前記画像データパケットのIDが異なる少なくとも２以上の分割映像データを組み合わせて合成映像を生成するために、当該２以上の分割映像データを出力することを含む出力部
を有する映像処理装置。

【請求項2】

請求項１記載の映像処理装置であって、
前記画像データ分割部は、さらに前記オブジェクトを撮像した他の画像データである参照画像データを取得し、前記撮像画像データと前記参照画像データを比較して、前記撮像画像データの走査線上の特定点に対する前記参照画像データの走査線上の対応点を求め、さらに対応点との差分を算出し、対応点の有無及び差分情報に基づいて前記撮像画像データと前記参照画像データを走査線毎に複数のオブジェクトの画像データに分割し、
前記パケット生成部は、分割された前記撮像画像データと対応する前記参照画像データとの間の差分情報を含めて画像データパケットを生成することを特徴とする、映像処理装置。

【請求項3】

請求項２記載の映像処理装置であって、
さらにステレオカメラにより構成される撮像部を有し、
前記撮像画像データは前記ステレオカメラの一方のカメラのデータであり、前記参照画像データは、他方のカメラのデータであることを特徴とする映像処理装置。

【請求項4】

請求項２記載の映像処理装置であって、
さらに映像データを記憶する映像データ記憶部を有し、
前記画像データ分割部は、前記撮像画像データが撮像したオブジェクトを有する画像データに対応する画像データを前記映像データ記憶部から前記参照画像データとして取得することを特徴とする映像処理装置。

【請求項5】

請求項１記載の映像処理装置であって、
前記画像データ分割部は、さらに前記撮像画像データにおける任意の走査線上にあるオブジェクトと前記撮像部の距離を示す距離データを取得し、距離の変化に応じて前記撮像画像データを分割し、
前記パケット生成部は、分割された前記撮像画像データにおける距離範囲情報を含めて画像データパケットを生成することを特徴とする映像処理装置。

【請求項6】

請求項５記載の映像処理装置であって、
前記画像データ分割部は、さらに前記オブジェクトを撮像した他の画像データである参照画像データを取得し、前記撮像画像データと前記参照画像データとに基づいて前記オブジェクトまでの距離データを算出することで距離データを取得することを特徴とする映像処理装置。

【請求項7】

オブジェクトを撮像した映像データである撮像画像データを走査線毎に複数のオブジェクトの画像データに分割するステップ、
分割された前記画像データごとにIDを有する画像データパケットを生成するステップ、及び
同一のIDが付与された前記画像データパケットをまとめて出力することで分割映像データを出力するステップであって、まとめて出力する前記画像データパケットのIDが異なる少なくとも２以上の分割映像データを組み合わせて合成映像を生成するために、当該２以上の分割映像データを出力することを含むステップ
を有する映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影した映像データと参照映像データとに基づいて、オブジェクト映像単位に分割された映像データを生成する映像処理装置に関するものである。

【背景技術】

【0002】

従来の映像信号は、順次走査型あるいは飛越走査型であり、テレビやパソコンといった表示装置の映像は、それぞれの表示装置の規格に従って映像が表示され、全画面を一定周期でデータ更新して表示するように設計されていた。このため、順次走査型あるいは飛越走査型の映像信号においては、一画面のうち一部分のみが変化する場合であっても、一画面すべての映像信号を更新する必要があり、表示の更新速度はフレームレートに依存する。

【0003】

バーチャルリアリティ技術(VR)や拡張現実感技術(AR)などにおいては、撮影したビデオ映像やコンピュータグラフィック映像の合成を行うことにより、洋服やアクセサリー等を通信販売で購入する前に仮想試着することができるシステムがある(特許文献１)。このような映像合成をより複雑で自由に行うには、画像がオブジェクト毎の画像に分割されている必要がある。例えば、アクセサリーを仮想で試着する映像を生成するには、「試着する顧客」「アクセサリー」「背景」、それぞれの映像に分割されている必要がある。オブジェクトごとの分割画像を生成するには、たとえばオブジェクト検出を行って分割する画像処理を行わなければならない。

【0004】

さらに、順次走査型あるいは飛越走査型の映像信号で合成映像を表示するには、分割されたオブジェクト毎の映像を組み合わせて新たに順次走査型あるいは飛越走査型の合成映像を生成することとなるが、順次走査型あるいは飛越走査型の映像信号には複数の規格が混在しており、各々のオブジェクト映像が同一規格の映像信号でなければならない。このため、それぞれのオブジェクト映像の規格が異なる場合は、生成したい合成映像の規格へと変換する処理が必要である。

【0005】

一方、こうした順次走査型あるいは飛越走査型による映像信号とは別に、描画開始位置の座標情報を指定した画像データパケットによる表示方式が検討されている(特許文献２、非特許文献１)。また、複数の素材映像データから構成される映像データを素材映像データごとにビデオコーデックを選択して送受信することにより効率を上げることが提案されている(非特許文献２)。画像データパケットの方式では、一つの映像を、複数のオブジェクト映像の集合により生成されると捉え、さらにそれぞれのオブジェクト映像はフレーム画像の時系列として捉え、各フレーム画像は画像データパケットの集合として捉える。分解された各画像データパケットには描画開始位置である座標情報を有する。本方式によれば容易に、オブジェクト映像単位に追加・削除・表示位置の変更・表示時刻の変更した合成映像を生成可能であるが、与えられたあるいは撮影した映像データからオブジェクト映像データを容易に提供できないという問題があった。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平０５−３３６４４５号公報

【特許文献2】特開２００７−２６４１４１号公報

【非特許文献】

【0007】

【非特許文献1】「全画面やフレームレートという概念を排除した新しい表示方式の提案」，信学技報，社団法人電子情報通信学会，2011年7月,vol.111，no.116，DC2011-14，pp.15-22,

【非特許文献2】”Overview of the MPEG-4Standard”,ISO/IEC JTC1/SC29/WG11 N4668 (March 2002)，インターネット<URL：http://mpeg.chiariglione.org/standards/mpeg-4/mpeg-4.htm>

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の映像処理装置は、画像データパケットでの表示方式におけるオブジェクト映像データを提供可能とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明では、撮像部でオブジェクトを撮像した映像データである撮像画像データを複数に分割する画像データ分割部、分割された画像データごとにIDを有する画像データパケットを生成するパケット生成部、分割された画像データを有する画像データパケットで同一のIDが付与された画像データパケットをまとめて出力することで分割映像データを出力する出力部、を有する映像処理装置を提供する。

【0010】

また、画像データ分割部は、さらに前記オブジェクトを撮像した他の画像データである参照画像データを取得し、撮像画像データと参照画像データを比較して、撮像画像データにおける特定点に対する参照画像データの対応点を求め、さらに対応点との差分を算出し、対応点の有無及び差分情報に基づいて画像データを複数に分割し、パケット生成部は、分割された撮像画像データと対応する参照画像データとの間の差分情報を含めて画像データパケットを生成する。

【0011】

さらにステレオカメラにより構成される撮像部を有し、撮像画像データはステレオカメラの一方のカメラのデータであり、参照画像データは、他方のカメラのデータであってもよい。

【0012】

また、さらに映像データを記憶する映像データ記憶部を有し、画像データ分割部は、撮像画像データが撮像したオブジェクトを有する画像データに対応する画像データを映像データ記憶部から前記参照画像データとして取得する。

【0013】

画像データ分割部は、さらに撮像画像データにおける任意の走査線上にあるオブジェクトと撮像部の距離を示す距離データを取得し、距離の変化に応じて撮像画像データを分割し、パケット生成部は、分割された撮像画像データにおける距離範囲情報を含めて画像データパケットを生成する。

【0014】

画像データ分割部は、さらにオブジェクトを撮像した他の画像データである参照画像データを取得し、撮像画像データと参照画像データとに基づいてオブジェクトまでの距離データを算出することで距離データを取得する。

【発明の効果】

【0015】

本発明によれば、画像データパケットにより構成されるオブジェクト映像データを提供することができるので、画像データパケットの描画開始位置を変化させることで容易にオブジェクト映像の表示位置を変化させた画像データパケットの表示方式による合成映像を生成・表示できる。本発明により切り出された１つのオブジェクト映像データは、画像データパケットの集合となるため、オブジェクト映像データが非連結な場合、画像データパケットを分割加工することなしに容易に連結部分に再分割して別のオブジェクト映像データとして扱うことが出来る。一部のオブジェクト映像を削除したり、別のオブジェクト映像を追加したりした画像データパケットの表示方式による合成映像を容易に生成・表示できる。複数のオブジェクト映像それぞれの描画開始位置を変化させることで容易に、複数のオブジェクト映像を組み合わせた画像データパケットの表示方式による合成映像を生成・表示できる。

【0016】

本発明により生成されたオブジェクト映像データをオブジェクト映像データ単位で表示・非表示を選択することで、不要なオブジェクト映像の表示を抑制した合成映像を容易に生成・表示できる。また、本発明により生成されたオブジェクト映像データそれぞれに対して適切な画像圧縮を適用することができるため、複数のオブジェクト映像データにより構成される合成映像データは、高い圧縮率を得ることができる。

【0017】

また、本発明により出力されるオブジェクト映像データは２つの映像データ間の差分情報または距離情報を有しているため、オブジェクト映像データを当初とは異なる位置に差分情報または距離情報に応じて変更した合成映像データを生成・表示する場合であっても、容易に生成・表示することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本発明の映像処理装置１の原理を説明するための図である。

【図2】本発明の第一の実施例における映像処理装置１のブロック図である。

【図3】本発明の第一の実施例における分割処理の一例を説明する図である

【図4】本発明の第二の実施例における映像処理装置１のブロック図である。

【図5】本発明の第二の実施例における分割処理の一例を説明する図である

【図6】本発明の第三の実施例における映像処理装置１のブロック図である。

【図7】本発明の第三の実施例における分割処理の一例を説明する図である。

【図8】本発明の実施の形態に係る映像処理装置１のハードウェア構成の一例を示すブロック図である。

【図9】画像データパケット方式により映像を再構成して表示させる場合の応用例を示す図である。

【図10】応用例における被写体を撮影した映像データの分割の一例を示す図である。

【図11】本発明の応用例における合成表示の生成例を示す図である。

【図12】本発明の他の応用例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の映像処理装置１の原理を説明するための図である。

【0020】

映像処理装置１は、画像データ分割部11、パケット生成部12、出力部13から構成されている。

【0021】

画像データ分割部11は、たとえばステレオ画像処理、背景差分処理、距離情報等に基づいて画像データを複数に分割処理を行う。分割処理の詳細については後述する。画像データ分割部11は、入力された映像データについてフレーム画像ごとに分割処理を行う。映像データは、カメラなどで撮影された映像データが直接入力されても、ハードディスクなどの記憶部に保存された映像データが入力されてもよい。また、本明細書にいう、映像データは、動画像データだけでなく、静止画像データも含まれる。画像データ分割部11は、入力された映像データに対し、フレーム画像データを複数に分割する処理を行う。画像データ分割部11において、フレーム画像データは複数の分割画像データに分割されることとなる。

【0022】

パケット生成部12は、画像データ分割部11において複数に分割された画像データそれぞれに対して画像データパケットの集合を生成する。画像データパケットによる表示方式においては、映像をオブジェクト映像の集まりとして扱い、オブジェクト映像はフレーム画像の時系列、フレーム画像は画像データパケットの集まりとして扱う。一つの態様においては、画像データパケットは、画像における画素の一行単位(又は一走査線単位)で生成される。つまり、一つの分割映像データに対して、最低でも、その映像データに必要な走査線の数分、複数の画像データパケットが生成されることとなる。全ての画像データパケットには分割画像データに該当する画像データ、表示装置における描画開始座標情報、画素数、などの情報が含まれており、パケット形式で表示装置へ送信される。描画開始座標情報とは、例えばその画像データパケットの左端位置の表示装置における座標(x,y)である。なお、画像データパケットは、一行単位に限られず、複数行単位、複数走査線単位で生成されてもよい。その場合、描画開始座標情報は、例えば左上端位置、あるいは左下端位置の座標情報となる。

【0023】

出力部13は、パケット生成部12が生成した画像データパケットを出力する。映像データは、分割映像データごとにパケット生成部12で生成された複数の画像データパケットからなる画像データパケットの形式で出力される。出力された画像データパケットは、例えば、表示装置へ送られ、表示装置は、パケットに含まれる情報に基づいて映像データを表示することとなる。なお、出力された画像データパケットを記憶装置へ、分割映像データごとに記憶させておき、表示装置へ表示する際に、パケット内の描画開始座標情報を書き換え、他の映像データとともに表示装置へ送信してもよい。

【0024】

図２は、本発明の第一の実施例における映像処理装置１のブロック図である。撮像部20は、映像データを撮像するもので、たとえばカメラやビデオカメラである。撮像部20は、２台の撮像部で構成されており、ステレオカメラや校正済みの２台のカメラで構成される。撮像部20で取得される映像データは、同一の事物を異なる位置から撮像した２つの映像データである。

【0025】

画像データ分割部21は、撮像部20で撮像された２つの映像データを取得し、それぞれの映像データを分割する。一方の映像データを撮像映像データとし、他方の映像データを参照映像データとする。画像データ分割部21は撮像映像データのフレーム画像データの各走査線で、特定点とそれに対応する参照画像データにおける対応点のペアを探索する。特定点の探索方法については、たとえば直前の走査線の対応の付く領域の中央付近の１点から探索を始める。対応点の探索方法については、任意のステレオ画像処理を採用する。なお、一例として、走査線毎に分割処理が行われる。

【0026】

たとえば、撮像画像データにおける特定点を含む走査線上の点と、参照画像データにおける対応点を含む走査線上の点との画素集合間の距離関数を定義し、その関数値が極小となる最大連続領域を求め、その区間領域が、予め決められた区間長及び閾値の条件の範囲内であれば、対応の付く領域とし、それ以外の連続領域を対応のつかない領域とする。このときの対応の付く領域のずれを示す差分情報は、特定点から対応点へのベクトル値とする。同様に、撮像画像データの当該走査線における対応のつかない領域の中から別の特定点とそれに対応する参照画像データにおける対応点のペアを探索し、別の対応関係の対応の付く領域を求める。撮像画像データの当該走査線上の全ての点について対応点の検索が終わった場合、対応の付かない領域がなくなる場合、あるいは、対応の付かない領域の中から特定点と対応点のペアが見つからない場合、分割処理を終了する。

【0027】

なお、他の一例としては、オプティカルフローを求め、オプティカルフローが不連続となる点で分割処理を行ってもよい。分割処理は、撮像画像データだけでなく、参照画像データに対しても行ってもよい。

【0028】

パケット生成部22は、画像データ分割部21において分割された分割画像データそれぞれに対する画像データパケットを生成する。分割された分割画像データは隣接関係および対応の付く領域のずれを示す差分情報を有している。たとえば、ずれを示す差分情報の間あるいはオプティカルフロー間に距離関数を定義し、その関数値が、予め決められた閾値の条件の範囲内であれば、同一のオブジェクト映像データとし、それ以外は、別のオブジェクト映像データとする。また、対応の付かない領域の画像データに関しては、その領域で一つのオブジェクト映像データとして扱う。このようにすることで、パケット生成部２２は、し、同一のオブジェクト映像データと判断されたパケットには同一のIDを付加するとともに、分割映像データの表示装置における描画開始座標情報(x,y)を生成する。また、分割映像データが「対応の付く領域の画像データ」である場合は、対応点座標とのずれを示す差分情報であるベクトル値を生成する。参照映像データに対しても分割を行った場合には、参照映像データの中の「対応の付かない領域の画像データ」を画像データパケットとして生成する。

【0029】

出力部23は、パケット生成部22で生成された画像データパケットを出力する。出力部は、例えば、通信インターフェースである。出力部23は、画像データパケットに同一のIDが付加された分割画像データをまとめて出力することで、一つのオブジェクト映像データ(分割映像データ)として出力する。

【0030】

図３は、本発明の第一の実施例における分割処理の一例を説明する図である。撮像部20のカメラＡ及びカメラＢが二つの直方体を撮像している様子である。ここでは、点Ｐは、カメラＡで撮像された撮像画像データＡの特定点とカメラＢで撮像された参照画像データＢの対応点それぞれに対応し、同じ座標位置(第ｘ列目第ｙ行目)で撮影されている。以下、第ｙ行目の分割処理について説明する。

【0031】

画像データ分割部21は、撮像画像データＡの点Ｐに対応する特定点を含む走査線と、参照画像データＢの点Ｐに対応する対応点を含む走査線の対応関係を探索し、対応する領域を求める。その結果、対応する領域として、背景であるA1とB1、左の直方体を含むA3とB3、背景であるA5とB5、右の直方体を含むA7とB7、背景であるA9とB9を得る。また、撮像画像データにおいて、A2、A4、A6は、参照画像データＢに対応点が存在しない点の集合のデータである。また、参照画像データにおいて、B4、B6、B8は、撮像画像データＡに対応点が存在しない点の集合のデータである。なお、A8とB2は空集合であるため、図には示されていない。このように走査線上を複数の領域に分割する。なおA6は、背景と直方体側面を含む領域であるが、背景部分は参照画像データＢにおいて直方体で隠された背景部分であり、A6に対応する参照画像データの集合はないため、対応点が存在しない点の集合データとして分割されるため、背景部分と側面部分が分離されないままのデータとなる。B4も、背景と直方体側面を含む領域であるが、同様な理由によりこの例では背景部分と側面部分が分離されないままのデータとなる。

【0032】

パケット生成部22は、分割データに基づいて、撮像画像データＡの第ｙ行を分割した画像データの描画開始位置(左端のｘ座標)値のデータと分割映像データそのものを含む画像データパケットを生成する。参照画像データのなかに対応する分割画像データがある場合には、
「分割画像データ，ID，撮影データの左端座標(x,y)，差分情報」
のパケットを生成し、対応する分割画像データがない場合には、
「分割画像データ，ID，撮影データの左端座標(x,y)，対応無し撮影画像データの印(フラグ)」
のパケットが生成される。このパケットにおける「分割画像データ」とは一走査線のうちの分割された映像データそのものである。
また、参照画像データＢを分割した場合には、その分割画像データのうち、撮像画像データＡに対応点が存在しない分割画像データに対する画像データパケットとして、
「分割画像データ，ID，撮影データの左端座標(x,y)，対応無し参照画像データの印(フラグ)」
のパケットを生成してもよい。なお、描画開始位置を左端のｘ座標としているが、これに限られるものではなく、右端のｘ座標であってもよく、画像データの描画開始位置であればどこの座標データであってもよい。

【0033】

また、パケット生成部22は、画像データパケットを生成するときに、対象となる分割画像データが、前後のフレーム、上下の走査線の画像データパケットと座標が隣接している場合は、同一の映像データであるとみなし、同一のIDを付与する。また、隣接していない場合は、画像データパケットを生成するときに新しいIDを付与する。また、異なったIDをもつ分割映像データが、新しい走査線、新しいフレームにより隣接する場合には、IDを付け替える処理をおこなってもよく、あるいは、それらのIDが同一であることを示す情報を別途、出力してもよい。このようにすることで、一走査線ごとに分割されパケット付与された映像データが、同一のIDをもつようになり、複数の走査線を有するひとまとまりの分割映像データとして認識できるようになる。

【0034】

図３の例で、具体的なパケットを示すと、分割画像データの描画開始位置のｘ座標をA1〜A9それぞれについて、x11、x12、・・・x17、x19とし、B1〜B9それぞれについてx21、x23、・・・・x28、x29とすると、対応の有無およびズレの値に応じてIDをふることにより、下記の画像データパケットがそれぞれ出力される。
「分割画像データA1、ID1、左端座標(x11,y)、ズレ(0,0)=(x21-x11,0)」
「分割画像データA5、ID1、左端座標(x15,y)、ズレ(0,0)=(x25-x15,0)」
「分割画像データA9、ID1、左端座標(x19,y)、ズレ(0,0)=(x29-x19,0)」
「分割画像データA3、ID2、左端座標(x13,y)、ズレ(x23-x13,0)」
「分割画像データA7、ID3、左端座標(x17,y)、ズレ(x27-x17,0)」
「分割画像データA2、ID4、左端座標(x12,y)、対応無し撮影データ印」
「分割画像データA4、ID4、左端座標(x14,y)、対応無し撮影データ印」
「分割画像データA6、ID4、左端座標(x16,y)、対応無し撮影データ印」
これらの画像データパケットにおける分割画像データの総体は、カメラＡで撮影した映像データの一画像データの一走査線である。
さらに、参照映像データに対する分割映像データを出力する場合には、
「分割画像データB4、ID5、左端座標(x24,y)、対応無し参照データ印」
「分割画像データB6、ID5、左端座標(x26,y)、対応無し参照データ印」
「分割画像データB8、ID5、左端座標(x28,y)、対応無し参照データ印」
が出力される。カメラＢで撮影した映像データの一画像データである参照画像データについては、分割画像データのうち、撮影画像データに対応するデータがない分割画像データについてデータパケットを出力する。これらの画像データパケットと撮影画像データの分割画像データのうち「対応の付く分割画像データ」の画像データパケットを総合するとカメラBで撮影した映像データの一画像データの一走査線である。

【0035】

上記のとおり、分割画像データに付与されるIDは、参照画像データとの差分(ズレ)に基づいて付与されており、同一の差分を有するデータに対しては同一のIDが付与される。つまり、上述の例によれば、ズレ(0,0)に対応するオブジェクトID1、ズレ(x23-x13,0)に対応するオブジェクトID2、ズレ(x27-x17,0)に対応するオブジェクトID3、対応無し撮影データ印オブジェクトID4の４つとなる。これらは、それぞれ、背景、左側の直方体の正面、右側の直方体の正面、２つの直方体の側面とカメラＢでは直方体があるために撮影できなかったカメラＡで撮影できた背景のオブジェクト映像に対応する。

【0036】

さらに、参照画像データに対する分割画像データは、対応無し撮影データ印オブジェクトID5の１つであり、カメラＢで撮影した２つの直方体の側面とカメラＡでは直方体があるために撮影できなかったカメラＢで撮影された背景のオブジェクト映像に対応する。

【0037】

対応がＮ箇所とれれば、各映像データの一画像データの一走査線は最大(２Ｎ＋１)個に分割されるため、対応のつく画像データパケットがＮ個、対応のつかない画像データパケットが最大(Ｎ＋１)個出力されることとなる。参照画像データに対する画像データパケットを出力する場合には、これに加え、対応のつかない画像データパケットが最大(Ｎ＋１)個出力されることとなる。

【0038】

図４は、本発明の第二の実施例における映像処理装置１のブロック図である。撮像部40aは、事物を撮影する、例えばカメラ、ビデオカメラであり、撮影した撮像画像データを、画像データ分割部41へ出力する。映像データ記憶部40bは、例えば、ハードディスク、メモリなど、映像データを記憶するための記憶部であり、撮像部40aが過去に撮像した撮影データや、その他の撮影データが記憶されている。画像データ分割部41は、撮像画像データが撮像部40aから入力されると、同じ事物を撮影した参照画像データとなる映像データがないか、映像データ記憶部40bを検索し、取得する。なお、その他の画像データ分割部41、パケット生成部42、出力部43の処理は、画像データ分割部21、パケット生成部22、出力部23と同じであるため、説明を省略する。

【0039】

図５は、本発明の第二の実施例における分割処理の一例を説明する図である。撮像部40aのカメラＣが二つの直方体を撮像し、参照画像データＤとして二つの直方体が無い状態の背景を撮影した画像が、映像データ記憶部40bから取得される。

【0040】

画像データ分割部41は、撮像画像データＣの走査線であるある行と、参照画像データＤの対応する走査線の行における対応関係を探索し、対応する領域を求める。撮影された画像データは分割処理により、「背景部分はズレ(0,0)で参照画像データに対応する分割画像データがある」分割画像データ、二つの直方体は、「参照画像データに対応する分割画像データがない」分割画像データに分割され、パケット生成部42に送られ、それぞれ画像データパケットとして出力される。

【0041】

図５の例で、具体的なパケットを示すと、分割画像データの描画開始位置のｘ座標をC1〜C5それぞれについて、x1、x2、・・・x5とすると、下記の画像データパケットがそれぞれ出力される。
「分割画像データC1、ID1、左端座標(x1,y)、ズレ(0,0)」
「分割画像データC3、ID1、左端座標(x3,y)、ズレ(0,0)」
「分割画像データC5、ID1、左端座標(x5,y)、ズレ(0,0)」
「分割画像データC2、ID2、左端座標(x2,y)、対応無し撮影データ印」
「分割画像データC4、ID2、左端座標(x4,y)、対応無し撮影データ印」
が出力される。これらの画像データパケットの総体は、カメラＣで撮影した映像データの一画像データの一走査線である。

【0042】

図５の例での分割によるオブジェクト映像は、ズレ(0,0)に対応するオブジェクトID1、対応無し撮影データ印オブジェクトID2の２つあり、それぞれ、背景、２つの直方体のオブジェクト映像に対応する。なお、ズレ(0,0)に対応するオブジェクトID1は連結なオブジェクト映像となる。対応無し撮影データ印オブジェクトID2は、非連結なオブジェクト映像となり、必要に応じて２つの連結部分に分割できる。
本発明の出力を利用するシステムにおいて、本発明の出力したオブジェクト映像を連結部分のパケット毎に分割することにより、容易に右側の直方体、左側の直方体に対応した２つのオブジェクト映像を得ることができる。

【0043】

図６は、本発明の第三の実施例における映像処理装置１のブロック図である。撮像部60aは、事物を撮像する手段であり、例えばカメラ、ビデオカメラである。撮像部60aで撮像された映像データは、画像データ分割部61へ入力される。

【0044】

距離データ取得部60bは、撮像部60aに取り付けられており、撮像範囲に存在する事物までの距離を測定する手段であり、例えば、視差を用いたステレオビジョンや、反射光の遅延時間を用いた光式距離センサー、ビームを投影して少しずれたセンサーで観測して距離を求める反射型ビームセンサー、光の位相差を用いたレーザ式光波距離センサー、反射音の遅延時間を用いた超音波式センサー、モアレパターンを用いたモアレ距離計、である。距離データ取得部60bで取得された距離データは、画像データ分割部61へ出力される。

【0045】

画像データ分割部61は、撮像部60aが撮像した映像データのフレーム画像データと距離データ取得部60bが取得した距離データとの対応付けを画素単位で行う。画像データ分割部61は各走査線で、隣接する画素間の距離データの差を求め、その値が、予め決められた閾値の条件の範囲外であれば、不連続と判断し、分割ポイントとする。このようにして、分割ポイントを検出した後、画像データ分割部61は、撮像画像データを分割ポイントで分割する。

【0046】

パケット生成部62は、画像データ分割部61で分割された分割画像データに基づいて画像データパケットを生成する。画像データパケットには、分割画像データの描画開始位置座標情報、例えば左端の座標(x,y)、が含まれる。また、画像データパケットには、分割画像データに含まれる距離変化を示す距離範囲情報が含まれる。

【0047】

出力部63は、分割画像データと、その分割画像データに対応するパケット生成部62が生成した画像データパケットを出力する。出力部23は、画像データパケットに同一のIDが付加された分割画像データをまとめて出力することで、一つのオブジェクト映像データとして出力する。

【0048】

図７は、本発明の第三の実施例における分割処理の一例を説明する図である。撮像部60aのカメラＥが二つの直方体を撮像している様子である。ここで、点Ｐは、カメラＥで撮像した背景のうちの一点であり、点Ｐまでの距離はd1と距離データ取得部60bにより計測されている。

【0049】

画像データ分割部61は、撮像画像データＥの特定点Ｐを含む走査線上の点に対応する距離データを順次取得し、距離が不連続に変化する部分を検出する。例えば、d1からd2に変化する部分である。この不連続点の左側の領域をE1、右側の領域をE2の分割画像データとする。その後、d2からd3まで連続的に変化し、d3からd1に不連続に変化する部分が検出される。その検出された不連続点までをE2、右側をE3とする。同様に、d1からd4への不連続点までをE3とし、右をE4とする。その後、d4からd5へは連続的に変化し、d5からd1に不連続に変化する部分までをE4とし、右をE5とする。このように走査線上の点により画像データを分割する。

【0050】

パケット生成部62は、分割データに基づいて、撮像画像データＥの第ｙ行を分割した画像データの描画開始位置(左端のｘ座標)値のデータを含む画像データパケットを生成する。また、画像データパケットには、その分割画像データに含まれる距離範囲情報を含めて生成する。つまり、生成される画像データパケットは、
「分割画像データ，ID，撮影データの左端座標(x,y)，距離範囲情報」
のパケットが生成される。

【0051】

図７の例で、具体的なパケットを示すと、分割画像データの描画開始位置のｘ座標における走査線をE1〜E5それぞれについて、x1、x2、・・・x5とすると、下記の画像データパケットがそれぞれ出力される。
「分割画像データE1、ID1、左端座標(x1,y)、距離範囲[d1,d1]」
「分割画像データE2、ID2、左端座標(x2,y)、距離範囲[d2,d3]」
「分割画像データE3、ID1、左端座標(x3,y)、距離範囲[d1,d1]」
「分割画像データE4、ID3、左端座標(x4,y)、距離範囲[d4,d5]」
「分割画像データE5、ID1、左端座標(x5,y)、距離範囲[d1,d1]」
このようにパケット生成部は、分割画像データとそれに対応する描画開始位置座標情報、距離範囲情報を出力する。

【0052】

図７の例での分割によるオブジェクト映像は、距離範囲[d1,d1]に対応するオブジェクトID1、距離範囲[d2,d3]に対応するオブジェクトID2、距離範囲[d4,d5]に対応するオブジェクトID3の３つあり、それぞれ、背景、左側の直方体、右側の直方体のオブジェクト映像に対応する。なお、距離範囲[d1,d1]に対応するオブジェクトID1は、第ｙ行においては非連結であるが、直方体が存在しない行において連結となり、全体としては連結なオブジェクト映像となる。

【0053】

この図７の分割は、図５の第二の実施例の分割と同一の分割となっているが、出力されるオブジェクト映像数は３つと異なっている。

【0054】

図８は、本発明の実施の形態に係る映像処理装置１のハードウェア構成の一例を示すブロック図である。図８において、映像処理装置１を構成するコンピュータは、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、映像処理装置１を形成するコンピュータは、図８に示したようにCPU81、ROM82、RAM83、外部記憶装置84、通信インターフェース85、入出力インターフェース86と接続されたカメラ87とセンサー88、及び表示装置として設けられたディスプレイ89を、バスに接続して構成される。例えば、カメラ87は、撮像部20、40a、60aが対応し、センサー88は、60bが対応する。また、画像データ分割部およびパケット生成部は、CPU81が対応する。映像データ記憶部40bは、例えば外部記憶装置84であり、出力部43は、通信インターフェース85又は入出力インターフェース86である。

【0055】

たとえば、ディスプレイ89において、本発明の実施の形態に係る映像処理装置１から出力された画像データパケットを表示する場合、ディスプレイは、画像データパケットに含まれる分割映像データ、描画開始位置、画素数を基に複数の画像データパケットから構成される映像データを表示することとなる。

【0056】

図９は、本発明により生成された分割画像データに基づいて、画像データパケット方式により映像を再構成して表示させる場合の応用例における被写体の例を示す図である。本発明の映像処理装置、例えば本発明の第一の実施例のステレオカメラにより90のような被写体を撮影した場合、に基づいて説明する。90では、背景として遠くに山が写っており、手前に直方体の被写体が置かれている。
図１０は、応用例における被写体を撮影した映像データの分割の一例を示す図である。ステレオカメラで撮影したときの直方体の被写体のずれが(x0,0)である場合、ズレ(0,0)に対応する背景部分のオブジェクト映像91(図１０(ａ))、ズレ(x0,0)に対応するオブジェクト映像92(図１０(ｂ))、対応無し撮影データ印オブジェクト映像93(図１０(ｃ))のように３つのオブジェクト映像データが出力される。直方体がカメラＡ,Ｂ間の光軸間距離に比べて十分遠距離にある場合、直方体の側面の映像は、ズレ(x0,0)に対応するオブジェクト映像92に含まれる。ここでは、直方体が十分遠方にあるとし、すると、オブジェクト映像92は直方体のオブジェクト映像となっている。

【0057】

参照映像データに対する分割映像データも出力される場合には、対応無し参照データ印オブジェクト映像94(図１０(ｄ))が出力される。すなわち91、92、93の総体はカメラＡの撮影映像データ90であり、オブジェクト映像92の描画位置を左にx0移動させた映像にオブジェクト映像91とオブジェクト映像94を合わせた映像がカメラＢで撮影した参照映像データとなっている。

【0058】

このように分割された映像データであるオブジェクト映像データはそれぞれのオブジェクト映像データにおいて少なくとも一フレーム画像データあたり走査線の数だけ画像データパケットを有している。たとえば、オブジェクト映像92におけるある走査線の画像データパケットは、
「分割画像データA3、ID2、左端座標(x,y)、ズレ(x0,0)」
である。

【0059】

このように、直方体のオブジェクト映像92は複数の走査線において同一のID(ここではID2)が付与されたパケットの総体である。たとえば、表示システムのCPUなどの制御部は、メモリなどの記憶部に記憶された画像データパケットのうち、同一のIDを有するデータパケットを抽出して表示装置に送出することで直方体のオブジェクト映像を表示することができる。また、直方体のオブジェクト映像92を構成する画像データパケットの描画開始位置を変更することで、表示位置を変更したり、他の映像と組み合わせて合成映像を生成することが可能となる。

【0060】

図１１は、本発明の応用例における合成表示の生成例を示す図である。たとえば、直方体のオブジェクト映像92を、別途撮影した背景のオブジェクト映像95(図１１(ａ))に重畳表示することで合成映像96(図１１(ｂ))が得られる。すなわち、直方体のオブジェクト映像92の描画優先順位を、別途撮影した背景のオブジェクト映像95の描画優先順位より高く設定して、合わせて表示装置に与えればよい。つまり、オブジェクト映像92に対するコマンドパケットにおいて描画優先順位を高く設定しておけばよい。たとえば、
「背景のオブジェクト映像95の描画優先度、10」であったなら、「直方体のオブジェクト映像92の描画優先度、11」
とコマンドパケットを用いて設定することにより、表示装置は、直方体のオブジェクト映像92と背景のオブジェクト映像95が重なる部分は、直方体のオブジェクト映像92を表示することにより、これらを重畳表示させた映像96が合成できる。なお、コマンドパケットは、画像データパケットとは別個に生成されるパケットであって、表示装置への指示命令のために生成、送信されるものである。

【0061】

図１２は、本発明の他の応用例を示す図である。97は、位置を計測可能なセンサー(例えば、３次元磁気センサーなどの位置センサー)を装着したユーザの位置が移動するのに呼応してオブジェクト映像92の重畳表示させる位置を変更させて合成表示する表示装置を示している。オブジェクト映像92における画像データパケットの描画開始位置をユーザの位置の変化に応じて変化させるようにしておくことで、オブジェクト映像92を容易に移動させて表示させることが可能である。図１２においては表示装置とユーザに装着されたセンサーとが有線で接続されているが、無線であってもよい。

【産業上の利用可能性】

【0062】

本発明は、ステレオカメラや距離計を有するカメラなどに適用可能である。

【符号の説明】

【0063】

１ 映像処理装置
１１ 画像データ分割部
１２ パケット生成部
１３ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】