特開 2024-49828 映像処理装置および映像信号結合装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049828

(43)【公開日】2024-04-10

(54)【発明の名称】映像処理装置および映像信号結合装置

(51)【国際特許分類】

   H04N 5/268 20060101AFI20240403BHJP

【ＦＩ】

H04N5/268

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022156297

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】320012037

【氏名又は名称】ラピステクノロジー株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】市川 知行

(72)【発明者】

【氏名】藤居 尚博

【テーマコード（参考）】

5C023

【Ｆターム（参考）】

5C023AA21

5C023BA16

5C023BA19

5C023DA04

5C023DA08

(57)【要約】

【課題】メモリを使用して複数の入力映像信号を結合して映像結合データを生成する場合にメモリ回路面積を削減可能な映像信号結合装置を提供する。
【解決手段】映像信号結合装置は、夫々が複数のラインメモリを有し、複数の入力端子からそれぞれ入力された映像信号のラインデータをそれぞれ取得して取得した当該ラインデータを複数のラインメモリに順次書込んで蓄積する複数のメモリ部と、ラインデータを順次複数のラインメモリのいずれかからファーストインファーストアウトで読出す読出制御部と、読出制御部によって読出されたラインデータが連なった映像結合データを出力するデータ出力部と、を有する。読出制御部は、複数のラインメモリのラインデータの蓄積状態に基づいて複数のラインメモリのうちから決まる１つからラインデータの読出しを行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

夫々が複数のラインメモリを有し、複数の入力端子からそれぞれ入力された映像信号のラインデータをそれぞれ取得して取得した当該ラインデータを前記複数のラインメモリに順次書込んで蓄積する複数のメモリ部と、
前記ラインデータを順次前記複数のラインメモリのいずれかからファーストインファーストアウトで読出す読出制御部と、
前記読出制御部によって読出された前記ラインデータが連なった映像結合データを出力するデータ出力部と、を有し、
前記読出制御部は、前記複数のラインメモリの前記ラインデータの蓄積状態に基づいて前記複数のラインメモリのうちから決まる１つから前記ラインデータの読出しを行うことを特徴とする映像信号結合装置。

【請求項2】

前記読出制御部は、前記蓄積状態として、前記複数のラインメモリに蓄積可能なラインデータのデータ量で前記複数のラインメモリの全てに前記ラインデータが書込まれた際の書込データ量を除した値に基づきデータ蓄積割合として前記複数のラインメモリ毎に算出し、前記データ蓄積割合が最も小さいラインメモリから前記ラインデータを読出すことを特徴とする請求項１に記載の映像信号結合装置。

【請求項3】

前記読出制御部は、
前記複数のラインメモリの各々への前記ラインデータの書込みおよび前記複数のラインメモリの各々からの前記ラインデータの読出しを監視した監視結果に基づいて前記データ蓄積割合を算出することを特徴とする請求項２に記載の映像信号結合装置。

【請求項4】

前記複数のメモリ部の各々は、前記複数のラインメモリに前記ラインデータを書込む書込制御回路を有し、
前記読出制御部は、
前記複数のラインメモリのそれぞれからの前記ラインデータの読出しおよび出力を行う複数の読出制御回路と、
前記書込制御回路の各々の前記ラインデータの書込みと前記読出制御回路の各々の前記ラインデータの読出しを監視して、前記複数のラインメモリの各々の前記ラインデータの前記蓄積状態を監視するメモリ蓄積状態監視回路と、
前記蓄積状態に基づき、前記複数のラインメモリから前記ラインデータを読出すべきメモリを決定して当該決定されたメモリに設けられた前記読出制御回路に読出し指示を出力する優先出力決定回路と、
前記書込制御回路の前記ラインデータの書込みを監視し、前記優先出力決定回路からの前記読出し指示に基づく読出要求信号を前記読出制御回路に出力する読出要求選択回路と、
を有し、
前記データ出力部は、前記複数の読出制御回路からの出力を受け、前記優先出力決定回路によって決定されたメモリに設けられた読出制御回路からの出力を選択して出力することで前記映像結合データを出力するマルチプレクサと、
を有することを特徴とする請求項３に記載の映像信号結合装置。

【請求項5】

前記複数のラインメモリの各々は複数の格納部を有し、
前記優先出力決定回路は、前記複数の格納部のうちの同数の組の前記データ蓄積割合を比較して、前記データ蓄積割合が最も小さい前記組の前記ラインメモリの前記ラインデータを選択することを特徴とする請求項４に記載の映像信号結合装置。

【請求項6】

前記複数の入力端子からそれぞれ入力された前記ラインデータはそれぞれ複数のカメラの出力であることを特徴とする請求項１に記載の映像信号結合装置。

【請求項7】

夫々が複数のラインメモリを有し、複数の入力端子からそれぞれ入力された映像信号のラインデータをそれぞれ取得して取得した当該ラインデータを前記複数のラインメモリに順次書込んで蓄積する複数のメモリ部と、
前記ラインデータを順次前記複数のラインメモリのいずれかからファーストインファーストアウトで読出し、前記複数のラインメモリの前記ラインデータの蓄積状態に基づいて前記複数のラインメモリのうちから決まる１つから前記ラインデータの読出しを行う読出制御部と、
前記読出制御部によって読出された前記ラインデータが連なった映像結合データを出力するデータ出力部と、
出力された前記映像結合データを処理する映像処理部と、
を有することを特徴とする映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像信号を処理する映像処理装置に関し、特に、映像信号を結合する映像信号結合装置に関する。

【背景技術】

【0002】

近年の車載アプリケーションには、カーナビゲーションやバックカメラ等様々な入力映像ソースが存在する。これらの入力映像ソースは増加の一途をたどっている。例えば、車両の死角を補うために車両の前後左右にカメラを搭載し運転席のディスプレイに撮影映像を運転者に提供する技術が開発されている。一例として、画像を処理するＡＳＩＣ等の集積回路である画像処理装置として、４つの撮影画像を結合して４つの撮影画像の全ての内容を含む一の結合画像を生成する画像結合回路が知られている（特許文献１、段落００５７を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１３８８７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

映像処理装置の映像処理ＬＳＩ（大規模集積回路）におけるカメラ用ポート数を節約するため、複数入力を結合し１本の出力にする技術を用いる技術も考えられるが、複数入力データが該ＬＳＩに同時に入ってくるので、入力データ待ちが存在するため、入力データを格納するメモリが大量に必要となる。一般的に入力データを大量に蓄積できるメモリを搭載することにより映像結合出力が可能となるが、メモリ回路面積の増加によって製造コストが高くなる。

【0005】

このように、複数の撮影画像の全ての内容を含む１つの結合画像を生成する映像処理装置において、大量のメモリを使用して複数の入力映像信号を結合して映像結合データを生成する場合にメモリ回路面積の増加によってＬＳＩの製造コストが高くなるという問題があった。

【0006】

本発明は、以上の従来技術の問題点に鑑みなされたものであり、メモリを使用して複数の入力映像信号を結合して映像結合データを生成する場合にメモリ回路面積を削減可能な映像処理装置および映像信号結合装置を提供することがその目的の一つとして挙げられる。

【課題を解決するための手段】

【0007】

本発明の映像信号結合装置は、夫々が複数のラインメモリを有し、複数の入力端子からそれぞれ入力された映像信号のラインデータをそれぞれ取得して取得した当該ラインデータを前記複数のラインメモリに順次書込んで蓄積する複数のメモリ部と、
前記ラインデータを順次前記複数のラインメモリのいずれかからファーストインファーストアウトで読出す読出制御部と、
前記読出制御部によって読出された前記ラインデータが連なった映像結合データを出力するデータ出力部と、を有し、
前記読出制御部は、前記複数のラインメモリの前記ラインデータの蓄積状態に基づいて前記複数のラインメモリのうちから決まる１つから前記ラインデータの読出しを行うことを特徴とする。

【0008】

本発明の映像処理装置は、夫々が複数のラインメモリを有し、複数の入力端子からそれぞれ入力された映像信号のラインデータをそれぞれ取得して取得した当該ラインデータを前記複数のラインメモリに順次書込んで蓄積する複数のメモリ部と、
前記ラインデータを順次前記複数のラインメモリのいずれかからファーストインファーストアウトで読出し、前記複数のラインメモリの前記ラインデータの蓄積状態に基づいて前記複数のラインメモリのうちから決まる１つから前記ラインデータの読出しを行う読出制御部と、
前記読出制御部によって読出された前記ラインデータが連なった映像結合データを出力するデータ出力部と、
出力された前記映像結合データを処理する映像処理部と、
を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、映像信号結合装置等の映像処理装置において、映像結合時におけるメモリ容量を節約でき回路面積を削減できるという有利な効果が実現可能となる。

【図面の簡単な説明】

【0010】

【図1】実施例の映像信号結合装置とこれに接続された映像処理装置とを含む映像処理システムの一例を示す概略ブロック図である。

【図2】実施例の映像信号結合装置の概略を示すブロック図である。

【図3】実施例の映像信号結合装置を示すブロック図である。

【図4】実施例の映像信号結合装置における入力される映像信号（フレーム時間およびライン時間）との映像のフレームレートとの関係の例を示す説明図である。

【図5】実施例の映像信号結合装置による結合映像信号の生成動作を示す説明図である。

【図6】実施例の映像信号結合装置による結合映像信号の生成動作を示す説明図である。

【図7】実施例の映像信号結合装置による結合映像信号の生成動作を示す説明図である。

【図8】実施例の映像信号結合装置による結合映像信号の生成動作を示す説明図である。

【図9】比較例の映像信号結合装置を示すブロック図である。

【図10】比較例の映像信号結合装置による結合映像信号の生成動作を示す説明図である。

【図11】実施例の変形例として映像信号結合部と映像処理部を含めた映像処理装置の一例を示す概略ブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しつつ本発明の映像信号結合装置の実施例について詳細に説明する。なお、実施例において、実質的に同一の機能および構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0012】

（構成の説明）
図１は、映像処理装置１０に接続される実施例のＬＳＩ（大規模集積回路）である映像信号結合装置２０を含む映像処理システムの一例を示す概略ブロック図である。この映像処理システムは、一例として、複数のカメラＣＭ１～ＣＭｎから映像信号をそれぞれ取得する車両搭載映像処理システムとして利用することができる。

【0013】

カメラＣＭ１～ＣＭｎは映像信号結合装置２０の複数の入力端子ＩＮに接続されている。映像信号結合装置２０の出力端子ＯＵＴは映像処理装置１０の入力端（図示せず）に接続されている。

【0014】

カメラＣＭ１～ＣＭｎはそれぞれ、映像データ（映像信号ともいう）Ｖ１～Ｖｎを生成し、シリアル伝送で映像信号結合装置２０に供給する。

【0015】

映像信号結合装置２０は、カメラからの複数の映像データＶ１～Ｖｎを結合して複数の映像データの全ての内容を含む１つの結合映像データＶ１Ｖｎ（結合映像信号ともいう）のストリームを生成する。映像信号結合装置２０は、結合映像信号Ｖ１Ｖｎを映像処理装置１０に受け渡す。

【0016】

映像処理装置１０は映像データＶ１Ｖｎに基づいて、表示すべき合成映像等を生成して、例えば、生成した映像をディスプレイ（図示せず）に出力する。

【0017】

図２および図３は、実施例の映像信号結合装置２０を示すブロック図である。実施例の映像信号結合装置２０は、カメラＣＭ１～ＣＭｎからの複数の映像データＶ１～Ｖｎが供給され、複数のメモリ部ＭＭと、読出制御部ＲＣと、データ出力部ＤＯと、を有する。図４は、実施例の映像信号結合装置における映像信号Ｖ１～Ｖ２（それぞれのフレーム時間およびライン時間）との映像のフレームレートの関係の例を示す説明図である。

【0018】

メモリ部ＭＭのそれぞれは、書込制御回路２１＿１、２１＿２、…２１＿ｎと、それぞれに接続された対応するラインメモリ２２＿１、２２＿２、…２２＿ｎと、を有する。書込制御回路２１＿１、２１＿２、…２１＿ｎは、複数の入力端子ＩＮからそれぞれ入力された映像信号Ｖ１～ＶｎのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘをそれぞれ取得する。複数の入力端子ＩＮからそれぞれ入力されたラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘはそれぞれカメラＣＭ１～ＣＭｎの出力（映像信号Ｖ１～Ｖｎ）である。

【0019】

また、書込制御回路２１＿１、２１＿２、…２１＿ｎは、取得した当該ラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘをラインメモリ２２＿１、２２＿２、…２２＿ｎに順次書込む。

【0020】

また、メモリ部ＭＭに含まれるラインデータを蓄積するラインメモリ２２＿１、２２＿２、…２２＿ｎの各々は、順次書込まれる同一容量の３つの格納部ｍ１，ｍ２，ｍ３を有している。

【0021】

更に、書込制御回路２１＿１、２１＿２、…２１＿ｎは、各ラインメモリの格納部ｍ１，ｍ２，ｍ３毎にラインデータが書込まれて充填された時点で書込完了信号ＷＤ１、ＷＤ２、…ＷＤｎを、読出制御部ＲＣの読出要求選択回路２５（後述する）に出力する。

【0022】

図３に示されるように、書込制御回路２１＿１、２１＿２、…２１＿ｎの各々は、ライン番号生成回路２１ａを含んでいる。

【0023】

ここで、図４を用いて、各書込制御回路（ライン番号生成回路２１ａ）の機能と、書込制御回路により処理されるカメラＣＭ１、ＣＭ２の映像信号Ｖ１、Ｖ２と、当該カメラの撮像素子の１フレーム映像領域から得られる映像データのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘと、の関係を説明する。

【0024】

図４に示されるように、フレームレートが６０Ｈｚ（ｆｐｓ）のカメラＣＭ１における撮像素子の１フレーム映像領域が例えば１２８０画素×７２０画素である場合、カメラＣＭ１の映像信号Ｖ１は、フレーム時間１６．６ｍｓ中に連続する７２０個のデータブロックのラインデータＶ１Ｌ１～Ｖ１Ｌ７２０として書込制御回路２１＿１に取り込まれる。

【0025】

書込制御回路２１＿１のライン番号生成回路２１ａは、ラインメモリ２２＿１に書込まれるラインデータＶ１Ｌ１～Ｖ１Ｌ７２０に付加されるライン番号Ｌ１～Ｌ７２０（図４のカメラＣＭ１の撮像素子１フレーム映像領域の上から下に順に１ラインずつ＋１だけ増加する走査ラインＬ１～Ｌ７２０に対応する（ここでは最大走査ラインＬｍａｘがＬ７２０である））を生成すると共に、カメラＣＭ１の識別子Ｖ１（映像信号識別子）を生成して、当該ラインデータにそれぞれ付与する。一例として、ライン番号は、走査順序で１つのラインデータＶ１Ｌ１が次のラインデータＶ１Ｌ２に変わる毎に、＋１だけ増加する番号であり、例えば、７２０ラインの場合に１０ビット、１０８０ラインの場合に１１ビットを要するので、１１ビットをデータに追加する。

【0026】

同様に、図４に示されるように、フレームレートが６０Ｈｚ（ｆｐｓ）のカメラＣＭ２の撮像素子の１フレーム映像領域が例えば１９２０画素×１０８０画素である場合、カメラＣＭ２の映像信号Ｖ２は、フレーム時間１６．６ｍｓ中に連続する１０８０個のデータブロックのラインデータＶ２Ｌ１～Ｖ２Ｌ１０８０として書込制御回路２１＿２に取り込まれる。

【0027】

書込制御回路２１＿２のライン番号生成回路２１ａは、ラインメモリ２２＿２に書込まれるラインデータＶ２Ｌ１～Ｖ２Ｌ１０８０に付加されるライン番号Ｌ１～Ｌ１０８０（図４のカメラＣＭ２の撮像素子１フレーム映像領域の上から下に順に１ラインずつ＋１だけ増加する走査ラインＬ１～Ｌ１０８０に対応する（ここでは最大走査ラインＬｍａｘがＬ１０８０である））を生成すると共に、カメラＣＭ２の識別子Ｖ２（映像信号識別子）を生成して、当該ラインデータにそれぞれ付与する。

【0028】

このように実施例の映像信号結合装置２０によれば、それぞれの書込制御回路２１＿１、２１＿２、…２１＿ｎがラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘに、それぞれの映像データのライン番号Ｌ１～ＬｍａｘやＬ１～Ｌｍａｘ並びにカメラＣＭ１～ＣＭｎの識別子Ｖ１～Ｖｎ（映像信号識別子）が含まれるので、出力する結合映像データＶ１Ｖｎ（結合映像信号）からの復号が確実になる。なお、上記のようなライン番号付与は、一例であって、フレームの先頭と最後に映像データとは別の制御データを送信してライン番号を判断してもよい。

【0029】

翻って、図３に示されるように、メモリ部ＭＭの各々に含まれるラインメモリ２２＿１、２２＿２、…２２＿ｎの３つの格納部ｍ１，ｍ２，ｍ３の各々は、３走査ライン分のラインデータ（図４のカメラＣＭ１、ＣＭ２の撮像素子１フレーム映像領域の連続する３本の走査ラインのラインデータ）をそれぞれ記憶することができる同一容量を有する。すなわち、格納部ｍ１，ｍ２，ｍ３の各容量は記憶する走査ライン１本分のラインデータ容量である。

【0030】

また、図３に示す読出制御部ＲＣは、ラインメモリ２２＿１、２２＿２、…２２＿ｎのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの蓄積状態を監視して、該蓄積状態に基づいてラインメモリ２２＿１、２２＿２、…２２＿ｎのうちから決まる１つからラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの読出しを行う。すなわち、読出制御部ＲＣは、ラインメモリ２２＿１、２２＿２、…２２＿ｎの格納部ｍ１，ｍ２，ｍ３からそれぞれラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘを順次、ファーストインファーストアウトで読出す機能部である。

【0031】

読出制御部ＲＣは、読出制御回路２３＿１、２３＿２、…２３＿ｎと、メモリ蓄積状態監視回路２６＿１、２６＿２、…２６＿ｎと、優先出力決定回路２７と、読出要求選択回路２５と、を備えている。

【0032】

読出制御回路２３＿１、２３＿２、…２３＿ｎはラインメモリ２２＿１、２２＿２、…２２＿ｎにそれぞれに接続され、それぞれの対応するラインメモリ（格納部ｍ１，ｍ２，ｍ３）からのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの読出しとデータ出力部ＤＯへの該ラインデータの出力を行う。

【0033】

メモリ蓄積状態監視回路２６＿１、２６＿２、…２６＿ｎは、それぞれに接続された書込制御回路２１＿１、２１＿２、…２１＿ｎのそれぞれのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘのラインメモリ２２＿１、２２＿２、…２２＿ｎへの書込みと、それらからの対応する読出制御回路によるラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの読出しを監視して、それぞれの対応するラインメモリ（格納部ｍ１，ｍ２，ｍ３）のラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの蓄積状態を監視する。メモリ蓄積状態監視回路２６＿１、２６＿２、…２６＿ｎは、蓄積状態として、対応するラインメモリ２２＿１、２２＿２、…２２＿ｎに蓄積可能なラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘのデータ量でラインメモリ２２＿１、２２＿２、…２２＿ｎの全てにラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘが書込まれた際の書込データ量を除した値に基づきデータ蓄積割合としてラインメモリ２２＿１、２２＿２、…２２＿ｎ毎に算出して、データ蓄積割合Ｒ１、Ｒ２、…Ｒｎを優先出力決定回路２７に出力する。例えば、データ蓄積割合は除算値から判定される制御値が使用される。

【0034】

ここでは、優先出力決定回路２７は、次のルールにより監視と優先読出しを行う。
（１）１走査ライン分のラインデータの書込みが終わっているラインメモリ（未読出しのラインデータがある格納部）が１つしか無い場合はその格納部から読出す。いわゆる書込完了信号ＷＤ１、ＷＤ２、…ＷＤｎのいずれかが出ているラインメモリ格納部が１つしか無い場合、その格納部から読出す。
（２）１走査ライン分のラインデータの書込みが終わっているラインメモリ（未読出しのラインデータがある格納部）が複数ある場合には、メモリ蓄積可能量が少ないラインメモリから読出す。いわゆる書込完了信号ＷＤ１、ＷＤ２、…ＷＤｎが出ているラインメモリが２つある場合、メモリ蓄積可能量（すなわちデータ蓄積割合Ｒ１、Ｒ２、…Ｒｎ）が少ないラインメモリから読出す。
（３）上記の（１）（２）の判断は１のラインデータの読出しが終わった時点で行う。
（４）「メモリ蓄積可能量」は、［３つの格納部ｍ１，ｍ２，ｍ３の全ラインメモリにラインデータを書込んだ際のデータ量］－（ラインメモリへの書込みデータ量－読出しデータ）である。

【0035】

このように、優先出力決定回路２７は、当該蓄積状態（データ蓄積割合Ｒ１、Ｒ２、…Ｒｎ）に基づき、ラインメモリ２２＿１、２２＿２、…２２＿ｎからラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘを読出すべきメモリを決定して当該決定されたメモリに設けられた読出制御回路に読出し指示（読出要求信号ＲＱ１、ＲＱ２、…ＲＱｎ）を読出要求選択回路２５を介して出力する。

【0036】

このように、読出要求選択回路２５は、書込制御回路２１＿１、２１＿２、…２１＿ｎのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの書込み、特に書込み完了（書込完了信号ＷＤ１、ＷＤ２、…ＷＤｎ）を監視しすると共に、優先出力決定回路２７からの読出し指示ＩＳＴに基づく読出要求信号ＲＱ１、ＲＱ２、…ＲＱｎを読出制御回路２３＿１、２３＿２、…２３＿ｎに出力する。

【0037】

このように、読出制御部ＲＣは、ラインメモリ２２＿１、２２＿２、…２２＿ｎの各々へのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの書込みおよびラインメモリ２２＿１、２２＿２、…２２＿ｎの各々からのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘの読出しを監視した監視結果に基づいてデータ蓄積割合Ｒ１、Ｒ２、…Ｒｎを算出する。

【0038】

優先出力決定回路２７は、複数の格納部ｍ１，ｍ２，ｍ３の同数の組（すなわち３個分の格納部の集合）毎のデータ蓄積割合を比較して、上記ルール（２）により、データ蓄積割合が最も小さい組のラインメモリのラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘを選択する。すなわち、読出制御部ＲＣは蓄積状態として、上記データ蓄積割合をラインメモリ２２＿１、２２＿２、…２２＿ｎ毎に算出し、データ蓄積割合が最も小さいラインメモリから該当するラインデータを読出す。

【0039】

データ出力部ＤＯは、読出制御回路２３＿１、２３＿２、…２３＿ｎからの出力を受け、優先出力決定回路２７によって決定されたメモリに設けられた読出制御回路からの出力を選択して出力することで映像結合データを出力するマルチプレクサ２４を有する。すなわち、データ出力部ＤＯは、読出制御回路２３＿１、２３＿２、…２３＿ｎによって読出されたラインデータＶ１Ｌ１～Ｖ１Ｌｍａｘ、Ｖ２Ｌ１～Ｖ２Ｌｍａｘ、…ＶｎＬ１～ＶｎＬｍａｘが連なった結合映像データＶ１Ｖｎ（結合映像信号）を出力する。

【0040】

（動作の説明）
図３に示す映像信号結合装置２０が図４に示す１２８０×７２０の解像度のハイビジョン映像信号Ｖ１と１９２０×１０８０の解像度のフルハイビジョン映像信号Ｖ２から結合映像信号Ｖ１Ｖ２を生成する動作の一例について説明する。映像信号Ｖ１とＶ２は、書込みタイミングが同一で、双方のフレームレート６０Ｈｚ（ｆｐｓ）も同一であるとする。

【0041】

図５に示すように、映像信号Ｖ１、Ｖ２のラインデータＶ１Ｌ１、Ｖ２Ｌ１はそれぞれ書込制御回路２１＿１、２１＿２、…２１＿ｎによってラインメモリ２２＿１、２２＿２に書込まれる。時間経過により、ラインデータＶ１Ｌ１のラインメモリ２２＿１の蓄積よりも先に、ラインデータＶ２Ｌ１のラインメモリ２２＿２の格納部ｍ１への書き込みが完了して格納部ｍ１満たされる。優先出力決定回路２７は３走査ライン分（３格納部毎）のラインメモリ残量で読出優先度判定し、上記ルール（１）（３）により、読出要求選択回路２５と読出制御回路２３＿２を介してラインデータＶ２Ｌ１を映像結合データ用にマルチプレクサ２４に出力させる。出力する結合映像信号Ｖ１Ｖ２には書込みタイミングから遅延ＤＬがある。

【0042】

時間が経過して、図６に示すように、映像信号Ｖ１、Ｖ２のラインデータＶ１Ｌ１、Ｖ２Ｌ３がそれぞれ対応する書込制御回路により対応するラインメモリに書込まれ、優先出力決定回路２７は、上記ルール（１）（３）により、読出要求選択回路２５と読出制御回路２３＿２を介してラインデータＶ１Ｌ１、Ｖ２Ｌ２、Ｖ２Ｌ３を映像結合データ用にマルチプレクサ２４に出力させる。

【0043】

時間が経過して、図７に示すように、映像信号Ｖ１、Ｖ２のラインデータＶ１Ｌ２、Ｖ１Ｌ３、Ｖ２Ｌ４、Ｖ２Ｌ５がそれぞれ対応する書込制御回路により対応するラインメモリに書込まれるが、優先出力決定回路２７は、上記ルール（２）（３）により、読出要求選択回路２５と読出制御回路２３＿２を介してラインデータＶ２Ｌ４を映像結合データ用にマルチプレクサ２４に出力させる。

【0044】

時間が経過して、図８に示すように、映像信号Ｖ１、Ｖ２のラインデータＶ１Ｌ３、Ｖ２Ｌ５がそれぞれ対応する書込制御回路により対応するラインメモリに更に書込まれ、ラインメモリ２２＿２で書込完了信号ＷＤ２が出力された時点で、優先出力決定回路２７は、上記ルール（２）（３）により、読出要求選択回路２５と読出制御回路２３＿１を介してラインデータＶ１Ｌ２を映像結合データ用にマルチプレクサ２４に出力させる。

【0045】

（効果の説明）
本実施例の効果を検証するために、図９に示すようなメモリ蓄積状態監視回路と優先出力決定回路を設けない以外、本実施例の映像信号結合装置２０と同様な構成の比較例の映像信号結合装置２０Ｂを用意した。

【0046】

図１０は、比較例の映像信号結合装置２０Ｂを本実施例と同様に動作させて、本実施例の図７に示す経過時点の前の比較例の映像信号結合装置による結合映像信号の生成動作を示す説明図である。

【0047】

図１０に示すように、比較例の映像信号結合装置２０Ｂでは、映像信号Ｖ１のラインデータＶ１Ｌ２が、読出要求選択回路２５により選択されて、読出制御回路２３＿２を介してラインデータＶ１Ｌ２を映像結合データ用にマルチプレクサ２４に出力された。これにより、その後の動作において、映像信号Ｖ２のラインメモリ２２＿２の格納部ｍ１のラインデータＶ２Ｌ４にラインデータＶ２Ｌ７が上書きされ、映像結合データから映像信号Ｖ２のラインデータＶ２Ｌ４の出力が抜けることが生じて、信号結合動作が失敗した。

【0048】

以上の比較結果から、メモリ蓄積状態監視回路と優先出力決定回路を含む本実施例の映像信号結合装置２０では、信号結合処理中にラインメモリのラインデータが上書きされることを回避され、出力された結合映像データ（結合映像信号）からの復号が確実に実行されることが確認された。

【0049】

本実施例の映像信号結合装置では、入力映像信号用のメモリ蓄積量をモニタし、次にどの入力映像を出力すべきかを判断することによって、動作時におけるメモリを節約でき、更に、装置における回路面積を削減できるという有利な効果が得られた。

【0050】

また、本実施例では映像信号結合装置２０を説明したが、図１１に示すように、変形例として映像信号結合装置２０を映像信号結合部２０Ａとして用い、これから出力された映像結合データＶ１Ｖｎを処理する映像処理部１０Ａを含めた映像処理装置１００も本発明に包含される。

【符号の説明】

【0051】

１０ 映像処理装置
２０ 映像信号結合装置
２１＿１、２１＿２、…２１＿ｎ 書込制御回路
２１ａ ライン番号生成回路
２２＿１、２２＿２、…２２＿ｎ ラインメモリ
ｍ１，ｍ２，ｍ３ 格納部
２３＿１、２３＿２、…２３＿ｎ 読出制御回路
２６＿１、２６＿２、…２６＿ｎ メモリ蓄積状態監視回路
２４ マルチプレクサ
２５ 読出要求選択回路
２７ 優先出力決定回路
ＭＭ メモリ部
ＲＣ 読出制御部
ＤＯ データ出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】