特許 7589753 映像信号を合成する装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】映像信号を合成する装置、方法及びプログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20241119BHJP

   H04N 7/15 20060101ALI20241119BHJP

【ＦＩ】

H04N21/238

H04N7/15

【請求項の数】 7

(21)【出願番号】P 2022570805

(86)(22)【出願日】2020-12-22

(86)【国際出願番号】 JP2020047864

(87)【国際公開番号】W WO2022137325

(87)【国際公開日】2022-06-30

【審査請求日】2023-04-20

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】小野 央也

(72)【発明者】

【氏名】福井 達也

(72)【発明者】

【氏名】池田 智彦

(72)【発明者】

【氏名】椎名 亮太

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１１－０４４８２６（ＪＰ，Ａ）

【文献】特開２０１８－１８２４１０（ＪＰ，Ａ）

【文献】特開２００９－１３０６３９（ＪＰ，Ａ）

【文献】特開２０１５－１６５６２８（ＪＰ，Ａ）

【文献】特開２００９－２６５３１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ ７／１５

(57)【特許請求の範囲】

【請求項1】

非同期の互いに異なる複数の映像信号を構成する各入力フレームの入力タイミングを検出し、
前記複数の映像信号のうちの設定された数の映像信号が入力されると、前記設定された数の映像信号の合成処理を順次開始することで、前記複数の映像信号の画面を前記入力タイミングの早い順に、前記複数の映像信号の数に応じて複数の領域に分割された合成画面において、走査線を走査するタイミングの早い前記領域から順に前記合成画面に配置する合成処理を行い、
前記複数の映像信号を１つの映像信号に合成した出力フレームを生成する、
映像合成装置。

【請求項2】

複数の映像信号を構成する各入力フレームの入力タイミングを検出し、
前記複数の映像信号のうちの設定された数の映像信号が入力されると、前記設定された数の映像信号の合成処理を順次開始し、
前記複数の映像信号を１つの映像信号に合成した出力フレームを生成し、
前記複数の映像信号のうちの前記設定された数の映像信号の入力完了時点と前記複数の映像信号の最後の映像信号の入力完了時点との時間差を、前記複数の映像信号の数若しくは合成画面の配置のいずれか又は両方に応じて定められる時間と比較し、合成処理のタイミングを調整する、
映像合成装置。

【請求項3】

前記時間差が前記複数の映像信号の数若しくは合成画面の配置のいずれか又は両方に応じて定められる時間よりも長い場合は、前記設定された数の映像信号の合成処理のタイミングを調整し、
前記時間差が前記複数の映像信号の数若しくは合成画面の配置のいずれか又は両方に応じて定められる時間よりも短い場合は、前記複数の映像信号のうちの残りの映像信号の合成処理のタイミングを調整する、
請求項２に記載の映像合成装置。

【請求項4】

映像合成装置が、
非同期の互いに異なる複数の映像信号を構成する各入力フレームの入力タイミングを検出し、
前記複数の映像信号のうちの設定された数の映像信号が入力されると、前記設定された数の映像信号の合成処理を順次開始することで、前記複数の映像信号の画面を前記入力タイミングの早い順に、前記複数の映像信号の数に応じて複数の領域に分割された合成画面において、走査線を走査するタイミングの早い前記領域から順に前記合成画面に配置する合成処理を行い、
前記複数の映像信号を１つの映像信号に合成した出力フレームを生成する、
映像合成方法。

【請求項5】

映像合成装置が、
複数の映像信号を構成する各入力フレームの入力タイミングを検出し、
前記複数の映像信号のうちの設定された数の映像信号が入力されると、前記設定された数の映像信号の合成処理を順次開始し、
前記複数の映像信号を１つの映像信号に合成した出力フレームを生成し、
前記複数の映像信号のうちの前記設定された数の映像信号の入力完了時点と前記複数の映像信号の最後の映像信号の入力完了時点との時間差を、前記複数の映像信号の数若しくは合成画面の配置のいずれか又は両方に応じて定められる時間と比較し、合成処理のタイミングを調整する、
映像合成方法。

【請求項6】

前記映像合成装置が、
前記時間差が前記複数の映像信号の数若しくは合成画面の配置のいずれか又は両方に応じて定められる時間よりも長い場合は、前記設定された数の映像信号の合成処理のタイミングを調整し、
前記時間差が前記複数の映像信号の数若しくは合成画面の配置のいずれか又は両方に応じて定められる時間よりも短い場合は、前記複数の映像信号のうちの残りの映像信号の合成処理のタイミングを調整する、
請求項５に記載の映像合成方法。

【請求項7】

請求項１から３のいずれかに記載の映像合成装置に備わる各機能部としてコンピュータを実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

複数の映像入力信号から、画面を１つに合成し、出力する、映像合成システムに関する。

【背景技術】

【0002】

近年、多くの映像デバイスが利用されている。このような多くの映像デバイスの映像には、多様な画素数（解像度）、フレームレート等が利用されている。この映像デバイスの映像信号は、規格によって、物理的な信号、コントロール信号等に差異があるものの、１画面をそのフレームレート分の１の時間を使って伝送する。

【0003】

これらの映像の利用方法には、テレビ会議など、複数のカメラをカメラの数よりも少ないモニタで表示するような形態がある。このような場合、複数の映像を、例えば１つの画面上に分割表示することや、ある映像画面中に、その他の映像画面縮小表示などをしてはめ込むことなどの、画面合成を行う。

【0004】

通常、映像信号のタイミングは同期されておらず、合成する他の映像信号のタイミングが異なることから、信号をメモリなどに一時的にバッファリングしてから、合成する。結果として、合成された画面の出力には遅延が発生する。

【0005】

遠隔地などでの合奏等をこのような画面合成を行うテレビ会議で行うことを想定すると、この合成に関わる遅延は、その実現性を大きく損なう。例えば、１秒間に１２０拍の曲（以下、１２０ＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ））であれば、１拍の時間は、６０／１２０秒＝５００ミリ秒である。仮にこれを、５％の精度で合わせることが必要であるとすると、５００×０．０５＝２５ミリ秒以下にカメラで撮影して表示するまでの遅延を抑える必要がある。

【0006】

カメラで撮影して表示するまでには、実際には、合成に関わる処理以外に、カメラでの画像処理時間、モニタでの表示時間、伝送に関わる時間などの、その他の遅延も含む必要がある。結果として、従来技術では、遠隔地で相互に映像を見ながらの合奏等のタイミングが重視される用途での、協調作業は困難であった。

【0007】

そこで、低遅延要求が厳しい協調作業に対して、複数拠点などの複数の映像信号を合成するシステムで、非同期の映像信号の入力から、合成された映像信号の出力までの時間を低遅延化するシステムの提供が必要である。

【先行技術文献】

【非特許文献】

【0008】

【文献】ＶＥＳＡ ａｎｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ Ｍｏｎｉｔｏｒ Ｔｉｍｉｎｇ （ＤＭＴ）， Ｖｅｒｓｉｏｎ １．０， Ｒｅｖ． １３， Ｆｅｂｒｕａｒｙ ８， ２０１３

【発明の概要】

【発明が解決しようとする課題】

【0009】

本開示は、合成映像の出力までの遅延時間を短縮することを目的とする。

【課題を解決するための手段】

【0010】

本開示は、複数の非同期の映像を合成して表示する装置において、入力された複数の映像信号から入力タイミングの早い順に上部から画面を配置する合成処理を行う。

【0011】

本開示の映像合成装置は、
複数の映像信号を構成する各入力フレームの入力タイミングを検出し、
前記複数の映像信号のうちの設定された数の映像信号が入力されると、前記設定された数の映像信号の合成処理を順次開始し、
前記複数の映像信号を１つの映像信号に合成した出力フレームを生成する。

【0012】

本開示の映像合成方法は、
映像合成装置が、
複数の映像信号を構成する各入力フレームの入力タイミングを検出し、
前記複数の映像信号のうちの設定された数の映像信号が入力されると、前記設定された数の映像信号の合成処理を順次開始し、
前記複数の映像信号を１つの映像信号に合成した出力フレームを生成する。

【0013】

本開示のプログラムは、本開示に係る装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る装置が実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0014】

本開示は、合成映像の出力までの遅延時間を短縮することができる。

【図面の簡単な説明】

【0015】

【図1】映像信号に含まれる画面の情報の一例を示す。

【図2】画面の合成例を示す。

【図3】本開示に関連する映像合成方法の一例を示す。

【図4】本開示の映像合成方法の一例を示す。

【図5】本開示の映像合成方法の一例を示す。

【図6】本開示の映像合成方法の一例を示す。

【図7】本開示の映像合成方法の一例を示す。

【図8】本実施形態に係る映像合成装置の構成例を示す。

【発明を実施するための形態】

【0016】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0017】

図１に、映像信号に含まれる画面の情報の一例を示す。画面の情報は、画面を横方向に１つの走査線２１毎に走査して、順次下の走査線２１を走査することで伝送される。この走査には、表示画面２４の他、ブランキング部分２２、また、ボーダ部分２３などのオーバヘッド情報／信号の走査を含む。ブランキング部分２２に、制御情報や音声情報など、映像情報以外の情報を含む場合もある。（例えば、非特許文献１、第３章参照。）

【0018】

図２に、映像信号の合成例を示す。本開示では、一例として、映像合成装置に４つの映像信号が入力され、映像合成装置が１つの映像信号に合成して出力する例を示す。映像信号では１画面をそのフレームレート分の１の時間を使って伝送する。例えば、１秒間に６０フレームの映像信号であれば、１／６０秒、すなわち約１６．７ミリ秒を掛けて１画面の映像信号を伝送する（以下、６０ｆｐｓ（Ｆｒａｍｅ ｐｅｒ Ｓｅｃｏｎｄ））。映像信号に含まれる各時点での１画面の情報を「フレーム」と称し、映像合成装置に入力される各映像信号の１画面の情報を「入力フレーム」、映像合成装置から出力される合成された１画面の情報を「出力フレーム」と称する。

【0019】

例えば、図３に示すように、映像合成装置が、全ての入力フレームを読み込んでから、１つの出力フレームに合成し、出力する場合を考える。この場合、各入力フレームのフレーム時間をＴ＿ｆ、合成処理時間をＴ＿ｐとすると、出力フレームの出力は、最初の入力１の入力開始時点から最大で、２Ｔ＿ｆ＋Ｔ＿ｐ遅れることとなる。フレームレートが６０ｆｐｓの場合、少なくとも３３．３ミリ秒の遅延が生じる。

【0020】

本開示の装置及び方法は、複数の非同期の映像を入力し、それらの画像を合成するシステムであって、入力タイミングの早い順に合成処理を開始し、画面の上部に配置することを特徴とする。

【0021】

本実施形態では、４入力、４分割１画面出力で各入力が１／４ Ｔ＿ｆ時間ずつずれがある場合について述べる。入力タイミングが早い順に入力１，２，３，４とする。この場合、４つの映像信号のうちの入力１及び入力２の映像信号が表示画面２４の上部に表示され、残りの入力３及び入力４の映像信号が表示画面２４の下部に表示される。そこで、本実施形態では、４つの映像信号のうちの２つの映像信号が入力されると、当該２つの映像信号の合成処理を開始する。簡略化のため、映像信号のブランキング部分２２、ボーダ部分２３については除外して、表示画面２４の部分の信号のみについて説明する。

【0022】

図４に、本開示の第１の合成例を示す。入力２の入力が完了した時点で、合成処理（１）を始め、表示画面２４の上部への出力を開始する。
次いで、入力４の入力が完了した時点で、合成処理（２）を始め、表示画面２４の下部への出力を開始する。
この場合、入力１の入力開始時点から上部の表示画面２４の出力開始時点までの最大遅延時間は（５／４Ｔ＿ｆ＋Ｔ＿ｐ）となる。これにより、３／４ Ｔ＿ｆ時間、図３に示す例より出力遅延を短縮できる。例えば、フレームレートが６０ｆｐｓの場合、２１ミリ秒＋Ｔ＿ｐの遅延になる。

【0023】

次いで、各入力が１／４ Ｔ＿ｆ時間ずつのずれではない場合について述べる。
図５に示すように、入力２と入力４の入力フレームの末尾の時間差Ｔ＿ｉｎ２ｔｏｉｎ４がＴ＿ｆ／２より長い場合は、入力１及び入力２を合成した上部の表示画面２４の出力に続いて下部の表示画面２４の出力が間に合うよう、入力２の入力完了後に、少なくともＴ＿ｉｎ２ｔｏｉｎ４－Ｔ＿ｆ／２時間、合成処理（１）の開始を待つ。もしくは、合成処理（１）を実施してから、Ｔ＿ｉｎ２ｔｏｉｎ４－Ｔ＿ｆ／２時間上部画面の出力フレームの出力を待つようにしてもよい。

【0024】

図６に示すように、入力２と入力４の入力フレームの末尾の時間差Ｔ＿ｉｎ２ｔｏｉｎ４がＴ＿ｆ／２より短い場合は、上部の表示画面２４の出力に続いて下部の表示画面２４の出力が間に合うよう、入力４の入力完了後に、Ｔ＿ｆ／２－Ｔ＿ｉｎ２ｔｏｉｎ４時間、合成処理（２）の開始を待つ。もしくは、合成処理（２）を実施してからＴ＿ｆ／２－Ｔ＿ｉｎ２ｔｏｉｎ４時間、下部画面の出力フレームの出力を待つようにしてもよい。

【0025】

なお、本実施形態では、図２に示すような、４つの映像信号を上２画面下２画面の１つの映像信号に合成して出力する例を示す。このため、図５及び図６の例では、入力フレームの末尾の時間差を入力２と入力４の時間差とし、その比較対象をＴ＿ｆ／２と比較した。しかし、入力フレームの末尾の時間差及びこれの比較対象は、合成する映像信号の数及び画面の配置に応じて定められる任意の数でありうる。例えば、６つの映像信号を上２画面、中２画面、下３画面の１つの映像信号に合成する場合、入力フレームの末尾の時間差を入力４と入力６の時間差とし、その比較対象をＴ＿ｆ／３とすればよい。

【0026】

なお、実際の映像信号には、前記したブランキング部分やボーダ部分などのオーバヘッド部分あるため、前記比較対象のＴ＿ｆ／２や、Ｔ＿ｆ／３は、表示画面２４に対しての信号に対しての数値であり、オーバヘッド部分に応じて、補正する必要がある。

【0027】

図７を参照して、前記までの方法をパイプライン処理化した場合について述べる。パイプライン化合成処理時間をＴ＿ｐｐ（Ｔｉｍｅ ｏｆ Ｐｉｐｅｌｉｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ）とする。ここでの、パイプライン化合成処理時間とは、パイプラインのための最初のオーバヘッド時間（データの読み込み等を含む次段の処理に渡す前の処理全般に要する時間）のみを示し、合成処理は、入力または、出力に合わせて継続的に実行される。パイプライン化合成処理の実態の時間は、後段処理である出力までに、パイプライン処理上の１単位データを処理する時間である。この場合は、映像信号の入力の終了時刻＋Ｔ＿ｐｐ時点で、出力フレームの出力が完了するよう処理を開始できる。

【0028】

４入力、４分割１画面出力で、各入力フレームに１／４ Ｔ＿ｆ時間ずつずれがある場合について述べる。入力タイミングが早い順に入力１，２，３，４とする。簡略化のため、映像信号のブランキング部分２２、ボーダ部分２３については除外して、表示画面２４の信号のみについて説明する。

【0029】

入力２の入力完了時刻Ｔ＿２ＥからＴ＿ｐｐ時間を経過した時点が、上部の表示画面２４の出力完了時点Ｔ＿ＵＥと一致するように合成処理（１）を始め、表示画面２４の上部への出力を開始する。
入力４の入力完了時刻Ｔ＿４ＥからＴ＿ｐｐ時間を経過した時点が、下部の表示画面２４の出力完了時点Ｔ＿ＤＥと一致するように合成処理（２）を始め、表示画面２４の下部への出力を開始する。
この場合、入力１の入力開始時点から上部の表示画面２４の出力開始時点までの最大遅延時間は（３／４ Ｔ＿ｆ＋Ｔ＿ｐｐ）となる。これにより、図３に示す例より出力遅延を短縮できる。例えば、フレームレートが６０ｆｐｓの場合、１２．５ミリ秒＋Ｔ＿ｐｐの遅延になる。

【0030】

次いで、各入力が１／４ Ｔ＿ｆ時間ずつのずれではない場合について述べる。
入力２と入力４の入力フレームの末尾の時間差Ｔ＿ｉｎ２ｔｏｉｎ４がＴ＿ｆ／２より長い場合は、入力１及び入力２を合成した上部の表示画面２４の出力に続いて下部の表示画面２４の出力が間に合うよう、入力２の入力完了後に、少なくともＴ＿ｉｎ２ｔｏｉｎ４－Ｔ＿ｆ／２時間、合成処理（１）の開始を待つ。もしくは、合成処理（１）を実施してから、Ｔ＿ｉｎ２ｔｏｉｎ４－Ｔ＿ｆ／２時間出力フレームの出力を待つようにしてもよい。

【0031】

入力２と入力４の入力フレームの末尾の時間差Ｔ＿ｉｎ２ｔｏｉｎ４がＴ＿ｆ／２より短い場合は、上部の表示画面２４の出力に続いて下部の表示画面２４出力が間に合うよう、入力４の入力完了後に、Ｔ＿ｆ／２－Ｔ＿ｉｎ２ｔｏｉｎ４時間、合成処理（２）の開始を待つ。もしくは、合成処理（２）を実施してからＴ＿ｆ／２－Ｔ＿ｉｎ２ｔｏｉｎ４時間、出力フレームの出力を待つようにしてもよい。

【0032】

なお、本実施形態では、図２に示すような、４つの映像信号を上２画面下２画面の１つの映像信号に合成して出力する例を示す。このため、前記の例では、入力フレームの末尾の時間差を入力２と入力４の時間差とし、その比較対象をＴ＿ｆ／２と比較した。しかし、入力フレームの末尾の時間差及びこれの比較対象は、合成する映像信号の数及び画面の配置に応じて定められる任意の数でありうる。例えば、６つの映像信号を上２画面、中２画面、下３画面の１つの映像信号に合成する場合、入力フレームの末尾の時間差を入力４と入力６の時間差とし、その比較対象をＴ＿ｆ／３とすればよい。

【0033】

なお、実際の映像信号には、前記したブランキング部分やボーダ部分などのオーバヘッド部分あるため、前記比較対象のＴ＿ｆ／２や、Ｔ＿ｆ／３は、表示画面２４に対しての信号に対しての数値であり、オーバヘッド部分に応じて、補正する必要がある。

【0034】

図８に、本実施形態に係るシステム構成の一例を示す。本実施形態に係る映像合成装置１０は、検出部１０１、クロスバスイッチ１０２、アップダウンコンバータ１０３、バッファ１０４、画素合成部１０５を備える。図は４入力１出力であるが、任意の数の入出力でも構わない。

【0035】

１０１は、Ｎ個の入力フレームに対して、フレーム時間内の入力順を検出する機能部である。例えば、図４及び図５に示す入力１、２、３、４の入力フレームが入力された入力タイミングを検出し、入力タイミングを用いて入力１、２、３、４の順序を判定する。
１０２は、クロスバスイッチであり、１０１からの入力順序の検出結果順に並べ替え出力する機能である。例えば、図４及び図５に示す入力１、２、３、４の順に入力フレーム順を並べる。
１０３は画素数を任意の大きさに拡大縮小を行う、アップダウンコンバータである。例えば、入力１の画素数を、図２に示す画面の大きさに整合するよう拡大又は縮小する。
１０２と１０３は入力（ａ，ｂ，ｃ，ｄ，…）に対して逆に接続しても構わない。すなわち入力ａ，ｂ，ｃ，ｄから１０３で拡大縮小を行い、その後１０２で入力１、２、３、４の順に並べ替え出力しても構わない。
１０４は、各入力フレームを格納するバッファである。１０３または１０２の入力をバッファリングして、任意の順序で出力することができる。
１０５は、画素合成部である。画素合成部１０５は、出力の全体画面のうち、出力する順に１０４から画素データを読み出し、合成して出力フレームを生成し、出力する。これにより、図２に示すような、４つの映像信号が合成された映像が画面に表示される。このタイミングは、前記による。１０５は、任意のコントロール信号を画面のブランキング部分２２に付加しても構わない。

【0036】

本開示の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0037】

上述の実施形態では４入力、４分割１画面の例を示したが、本開示はこれに限らず、任意の入力に適用できる。また上述の実施形態では、主に入力１～４のフレーム時間Ｔ＿ｆが同じ例を示したが、本開示はフレーム時間Ｔ＿ｆが異なる入力１～４に対しても適用可能である。

【0038】

（本開示の効果）
非同期の映像入力信号の入力タイミングの早い順に、上部から画面を合成配置し、出力することで、合成後の出力までの遅延時間を短縮することができる。これにより、複数拠点等の複数画面を合成するシステムで低遅延要求が厳しい協調作業が可能となる。

【産業上の利用可能性】

【0039】

本開示は、映像コンテンツやゲームコンテンツを配信する情報通信産業のほか、映像制作に関わる映画、広告、ゲーム産業に適用することができる。

【符号の説明】

【0040】

１０：映像合成装置
２１：走査線
２２：ブランキング部分
２３：ボーダ部分
２４：表示画面
１０１：検出部
１０２：クロスバスイッチ
１０３：アップダウンコンバータ
１０４：バッファ
１０５：画素合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】