特許 6236833 画像合成装置、画像合成方法、および、画像合成装置用のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6236833

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】画像合成装置、画像合成方法、および、画像合成装置用のプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171120BHJP

【ＦＩ】

   H04N7/18 V

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2013-78086(P2013-78086)

(22)【出願日】2013年4月3日

(65)【公開番号】特開2014-204243(P2014-204243A)

(43)【公開日】2014年10月27日

【審査請求日】2016年4月1日

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100083839

【弁理士】

【氏名又は名称】石川 泰男

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(72)【発明者】

【氏名】大川 拓

(72)【発明者】

【氏名】青山 美明

(72)【発明者】

【氏名】宮前 哲也

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 国際公開第２００５／０２７５１８（ＷＯ，Ａ１）

【文献】 特開２００３−１７９９１１（ＪＰ，Ａ）

【文献】 特開２０００−２４３０６２（ＪＰ，Ａ）

【文献】 特開２００１−０６９４６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得手段と、
前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得手段と、
前記フレーム画像を順に記憶するフレーム画像バッファ手段と、
前記チャンネル情報を順に記憶するチャンネル情報バッファ手段と、
前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段と、
前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出手段と、
を備え、
前記合成手段が、前記検出手段の検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成することを特徴とする画像合成装置。

【請求項2】

請求項１に記載の画像合成装置において、
前記フレーム画像バッファ手段が、時刻と関連付けて前記フレーム画像を順に記憶し、
前記チャンネル情報バッファ手段が、時刻と関連付けて前記チャンネル情報を順に記憶し、
前記検出手段が、前記フレーム画像に対応する時刻と、前記チャンネル情報に対応する時刻とを比較して、フレーム落ちを検出することを特徴とする画像合成装置。

【請求項3】

請求項１または請求項２に記載の画像合成装置において、
前記フレーム画像バッファ手段から取り出した複数のフレーム画像と、前記チャンネル情報バッファ手段から取り出した前記チャンネル情報とを関連付けて記憶するフレーム画像記憶手段を更に備え、
前記フレーム落ちが検出された場合、前記合成手段が、フレーム落ちがあるフレーム画像のチャンネル情報に基づき前記フレーム画像記憶手段から読み出したフレーム画像と、
前記フレーム画像バッファ手段から取り出したフレーム画像とから合成画像を生成することを特徴とする画像合成装置。

【請求項4】

請求項１から３のいずれか１項に記載の画像合成装置において、
前記合成手段により合成された合成画像を圧縮する画像圧縮手段を更に備えたことを特徴とする画像合成装置。

【請求項5】

画像合成装置の画像合成方法において、
複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得ステップと、
前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得ステップと、
前記フレーム画像を順にフレーム画像バッファ手段に記憶するフレーム画像バッファステップと、
前記チャンネル情報を順にチャンネル情報バッファ手段に記憶するチャンネル情報バッファステップと、
前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成ステップと、
前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出ステップと、
を含み、
前記合成ステップにおいて、前記検出ステップの検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成することを特徴とする画像合成方法。

【請求項6】

コンピュータを、
複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得手段、
前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得手段、
前記フレーム画像を順に記憶するフレーム画像バッファ手段、
前記チャンネル情報を順に記憶するチャンネル情報バッファ手段、
前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段、および、
前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出手段として機能させ、
前記合成手段が、前記検出手段の検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成することを特徴とする画像合成装置用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラにより撮像された画像を合成する画像合成装置、画像合成方法、および、画像合成装置用のプログラムに関する。

【背景技術】

【0002】

複数の監視カメラにより撮像された動画を監視する際、１画面で監視できるように、画像の合成が行われている。例えば、特許文献１には、ＣＣＤの撮像画像が画面走査に基づくタイミングで読出されて、画像合成回路に供給さ、画像合成回路がＣＣＤからの映像信号を合成し、モニタがカメラ制御回路からのマルチ映像信号に基づいて、４つの縮小画像を表示画面上に映出するビデオカメラ装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９−３２２０４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、カメラの画像の高画質化と共に、画像合成等の画像処理に負荷がかかり、合成画像の乱れが生じてしまうことがある。また、高速処理ができる画像処理の素子を使用するとコストがかかる問題があった。

【0005】

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、ローコストで、質の高い合成画像を得ることができる画像合成装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、請求項１に記載の発明は、複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得手段と、前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得手段と、前記フレーム画像を順に記憶するフレーム画像バッファ手段と、前記チャンネル情報を順に記憶するチャンネル情報バッファ手段と、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段と、前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出手段と、を備え、前記合成手段が、前記検出手段の検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成することを特徴とする。

【0008】

また、請求項２に記載の発明は、請求項１に記載の画像合成装置において、前記フレーム画像バッファ手段が、時刻と関連付けて前記フレーム画像を順に記憶し、前記チャンネル情報バッファ手段が、時刻と関連付けて前記チャンネル情報を順に記憶し、前記検出手段が、前記フレーム画像に対応する時刻と、前記チャンネル情報に対応する時刻とを比較して、フレーム落ちを検出することを特徴とする。

【0009】

また、請求項３に記載の発明は、請求項１または請求項２に記載の画像合成装置において、前記フレーム画像バッファ手段から取り出した複数のフレーム画像と、前記チャンネル情報バッファ手段から取り出した前記チャンネル情報とを関連付けて記憶するフレーム画像記憶手段を更に備え、前記フレーム落ちが検出された場合、前記合成手段が、フレーム落ちがあるフレーム画像のチャンネル情報に基づき前記フレーム画像記憶手段から読み出したフレーム画像と、前記フレーム画像バッファ手段から取り出したフレーム画像とから合成画像を生成することを特徴とする。

【0010】

また、請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像合成装置において、前記合成手段により合成された合成画像を圧縮する画像圧縮手段を更に備えたことを特徴とする。

【0011】

また、請求項５に記載の発明は、画像合成装置の画像合成方法において、複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得ステップと、前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得ステップと、前記フレーム画像を順にフレーム画像バッファ手段に記憶するフレーム画像バッファステップと、前記チャンネル情報を順にチャンネル情報バッファ手段に記憶するチャンネル情報バッファステップと、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成ステップと、前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出ステップと、を含み、前記合成ステップにおいて、前記検出ステップの検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成することを特徴とする。

【0012】

また、請求項６に記載の発明は、コンピュータを、複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得手段、前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得手段、前記フレーム画像を順に記憶するフレーム画像バッファ手段、前記チャンネル情報を順に記憶するチャンネル情報バッファ手段、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段、および、前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出手段として機能させ、前記合成手段が、前記検出手段の検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成することを特徴とする。

【発明の効果】

【0013】

本発明によれば、フレーム画像とチャンネル情報とを別々にバッファして、チャンネル情報に応じて、フレーム画像を合成することにより、ローコストで、質の高い合成画像を得ることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る画像合成装置のハードウェアの概要構成例を示すブロック図である。

【図2】図１の画像合成装置の機能ブロックの一例を示すブロック図である。

【図3】図１の画像合成装置の動作例を示すフローチャートである。

【図4】各チャンネルの動画のフレーム画像の一例を示す模式図である。

【図5】合成画像の一例を示す模式図である。

【図6】合成画像の一例を示す模式図である。

【図7】図１の画像合成装置における画像合成から動画記録までの動作例を示すフローチャートである。

【図8】合成画像の変形例を示す模式図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像合成装置に対して本発明を適用した場合の実施形態である。

【0016】

［１．画像合成装置の構成および機能の概要］
（１．１ 画像合成装置のハードウェア構成）

【0017】

まず、本発明の一実施形態に係る画像合成装置のハードウェア構成について、図１を用いて説明する。図１は、本発明の実施形態に係る画像合成装置のハードウェアの概要構成例を示すブロック図である。

【0018】

図１に示すように、画像合成装置１０は、各ビデオカメラ５の出力を所定の画像データに変換する変換器１１と、各変換器１１からの動画を切り替えて出力するチャンネルコントローラ１２と、画像処理等を行うプロセッサ１３と、画像データ等を記憶するメモリ１４と、記録媒体を接続するスロット１５と、を備えている。

【0019】

ビデオカメラ５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）のようなイメージセンサを有するカメラである。ビデオカメラ５は、動画を出力する。ビデオカメラ５は、例えば、監視カメラとして利用される。

【0020】

変換器１１は、プロセッサ１３で扱うことができるような動画データに変換する。例えば、アナログ信号をデジタル信号に変換したり、所定の規格の映像信号を、他の規格の映像信号に変換したりする。

【0021】

チャンネルコントローラ１２（切替手段の一例）は、例えば、複数の入力からのデータを切り替えて出力するマルチプレクサである。チャンネルコントローラ１２は、複数のチャンネルから動画データを取得し、所定の順序に従い、各チャンネルからの動画を、フレーム画像単位に切り替えて、動画のフレーム画像を出力する。また、チャンネルコントローラ１２は、出力しているフレーム画像のチャンネルを示すチャンネル情報を出力する。

【0022】

プロセッサ１３は、ＣＰＵ（Central Processing Unit）と、動画処理用のコプロセッサとを有している。また、プロセッサ１３は、水晶振動子を有し、時計の機能を有する。

【0023】

メモリ１４は、ＲＡＭ（Random Access Memory）を有し、画像データやプロセッサ１３の処理されたデータ等を記憶する。メモリ１４は、フレーム画像バッファ手段およびチャンネル情報バッファ手段の一例である。

【0024】

各ビデオカメラ５は、各変換器１１に接続している。各変換器１１は、チャンネルコントローラ１２に接続している。チャンネルコントローラ１２のフレーム画像を出力する端子、および、チャンネル情報を出力する端子が、プロセッサ１３に接続している。

【0025】

なお、チャンネルコントローラ１２は、ＲＡＭを内蔵する複数チャンネル入力のＩＣでもよい。この場合、チャンネルコントローラ１２は、所定の順序に従い、各チャンネルからの動画を切り替えて、動画のフレーム画像を出力するオートスキャンモードの他に、複数チャンネル入力の画像をマージするマージモードも有する。

【0026】

（１．２ 画像合成装置１０の機能構成）
次に、画像合成装置の機能ブロックについて図２を用い説明する。図２は、画像合成装置１０の機能ブロックの一例を示すブロック図である。

【0027】

図２に示すように、画像合成装置１０は、各ビデオカメラ５からの出力を画像合成装置１０用の信号に変換する変換部２０と、各ビデオカメラ５からの動画を切り替えて出力するチャンネル切替部２１と、時刻を出力する時計部２２と、チャンネル切替部２１からのフレーム画像を順に記憶するフレーム画像バッファ部２３と、チャンネル切替部２１からのチャンネル情報を順に記憶するチャンネル情報バッファ部２４と、フレーム画像とチャンネル情報との紐付けを行う紐付け部２５と、フレーム画像のフレーム落ち（コマ落ち）を検出する検出部２６と、フレーム落ち用に前フレーム画像を保存しておくメモリ部２７と、各チャンネルのフレーム画像より合成画像を生成する画像合成部２８と、合成画像を圧縮する画像圧縮部２９とを備えている。

【0028】

画像圧縮部２９は、スロット１５を介して、記録媒体３０に接続している。

【0029】

変換部２０は、複数の変換器１１より構成される。

【0030】

チャンネル切替部２１（切替手段の一例）は、チャンネルコントローラ１２に対応する。チャンネル切替部２１は、例えば、第１サイクルとして、第１チャンネルの動画データのフレーム画像を出力し、次に、第２チャンネルの動画データのフレーム画像を出力し、次に、第３チャンネルの動画データのフレーム画像を出力し、次に、第４チャンネルの動画データのフレーム画像を出力する。次に第２サイクルとして、チャンネル切替部２１は、第１チャンネルの動画データの次のフレーム画像を出力し、次に、第２チャンネルの動画データの次のフレーム画像を出力し、次に、第３チャンネルの動画データの次のフレーム画像を出力し、次に、第４チャンネルの動画データの次のフレーム画像を出力する。このように、チャンネル切替部２１は、第１チャンネルから第４チャンネルの順序に従い、各チャンネルの動画のフレーム画像を出力する。

【0031】

時計部２２は、水晶振動子から構成され、フレーム画像バッファ部２３と、チャンネル情報バッファ部２４とに、時刻情報を出力する。

【0032】

フレーム画像バッファ部２３（フレーム画像バッファ手段の一例）は、メモリ１４内に構成される。フレーム画像バッファ部２３は、チャンネル切替部２１から出力されたフレーム画像を、時計部２２から取得した時刻情報と共に、ＦＩＦＯ（First-In First-Out）方式で記憶する。フレーム画像バッファ部２３には、スタックが形成される。

【0033】

チャンネル情報バッファ部２４（チャンネル情報バッファ手段の一例）は、メモリ１４内に構成される。チャンネル情報バッファ部２４は、チャンネル切替部２１から出力されたチャンネル情報を、時計部２２から取得した時刻情報と共に、ＦＩＦＯ方式で記憶する。チャンネル情報バッファ部２４には、スタックが形成される。なお、チャンネル情報バッファ部２４のバッファ数は、フレーム画像バッファ部２３のバッファ数より大きく設定される。チャンネル情報のデータ量は少ないので、大きなバッファ数に設定できる。

【0034】

紐付け部２５は、プロセッサ１３により実現される。紐付け部２５は、フレーム画像バッファ部２３から順に出力されたフレーム画像と、チャンネル情報バッファ部２４から順に出力されたチャンネル情報とを、紐付ける。例えば、紐付け部２５は、フレーム画像の時刻情報と、チャンネル情報の時刻情報とに基づき、フレーム画像とチャンネル情報とを紐付ける。また、紐付け部２５は、フレーム画像バッファ部２３およびチャンネル情報バッファ部２４から、フレーム画像およびチャンネル情報をそれぞれ取り出した順に紐付けてもよい。

【0035】

検出部２６（検出手段の一例）は、プロセッサ１３により実現される。検出部２６は、チャンネル情報バッファ部２４内のチャンネル情報を監視して、チャンネル情報のチャンネル番号が連続しているか否かを判定することにより、フレーム落ちを検出する。また、検出部２６は、フレーム画像の時刻情報と、チャンネル情報の時刻情報とを比較して、フレーム落ちがあるか否かを判定することにより、フレーム落ちを検出する。

【0036】

メモリ部２７（フレーム画像記憶手段の一例）は、メモリ１４内に構成される。メモリ部２７は、前回のサイクルで合成に使用したフレーム画像を記憶しておく。

【0037】

画像合成部２８（合成手段の一例）は、プロセッサ１３により実現される。画像合成部２８は、チャンネル情報のチャンネル番号に従い、各フレーム画像をつなげた合成画像を生成する。

【0038】

画像圧縮部２９（画像圧縮手段の一例）は、プロセッサ１３の動画処理用のコプロセッサにより実現される。画像圧縮部２９は、生成された合成画像の１フレーム画像から生成される動画を圧縮する。

【0039】

［２．画像合成装置の動作］
次に、本発明の１実施形態に係る画像合成装置の動作について図３から図７を用い説明する。
図３は、画像合成装置１０の動作例を示すフローチャートである。図４は、各チャンネルの動画のフレーム画像の一例を示す模式図である。図５および図６は、合成画像の一例を示す模式図である。図７は、画像合成装置における画像合成から動画記録までの動作例を示すフローチャートである。

【0040】

画像合成装置１０のチャンネル切替部２１（チャンネルコントローラ１２）は、監視カメラである各ビデオカメラ５からの動画データを取得し、所定の順序に従い、各チャンネルを切り替えて動画のフレーム画像を出力する。チャンネル切替部２１は、例えば、第１サイクルとして、第１チャンネルの動画のフレーム画像を出力する。

【0041】

図３に示すように、画像合成装置１０は、フレーム画像を取得する（ステップＳ１）。具体的には、フレーム画像バッファ部２３が、フレーム画像をチャンネル切替部２１から取得する。チャンネル切替部２１が第１チャンネルの動画のフレーム画像を出力している場合、図４に示すように、フレーム画像バッファ部２３が、チャンネル番号ｃｈ１のフレーム画像を取得する。

【0042】

このように、画像合成装置１０は、複数のチャンネルから動画データを取得し、所定の順序に従い、当該各チャンネルからの動画を切り替えて、当該動画のフレーム画像を出力する切替手段から、当該動画のフレーム画像を取得するフレーム画像取得手段の一例として機能する。

【0043】

次に、画像合成装置１０は、チャンネル情報を取得する（ステップＳ２）。具体的には、チャンネル情報バッファ部２４が、チャンネル情報をチャンネル切替部２１から取得する。チャンネル切替部２１が第１チャンネルの動画のフレーム画像を出力している場合、チャンネル情報バッファ部２４が、チャンネル番号ｃｈ１のチャンネル情報を取得する。

【0044】

このように、画像合成装置１０は、前記切替手段から前記動画のチャンネルを示すチャンネル情報を取得するチャンネル情報取得手段の一例として機能する。

【0045】

次に、画像合成装置１０は、時刻情報を取得する（ステップＳ３）。具体的には、フレーム画像バッファ部２３およびチャンネル情報バッファ部２４が、時計部２２から時刻情報を取得する。さらに具体的には、フレーム画像バッファ部２３が、フレーム画像を取得した際に、時計部２２から時刻情報を取得する。また、チャンネル情報バッファ部２４が、チャンネル情報を取得した際に、時計部２２から時刻情報を取得する。

【0046】

次に、画像合成装置１０は、時刻に関連付けてフレーム画像を記憶する（ステップＳ４）。具体的には、フレーム画像バッファ部２３が、時計部２２から取得した時刻情報に関連付けて、フレーム画像をＦＩＦＯ方式で記憶する。

【0047】

このように、画像合成装置１０は、前記フレーム画像を順に記憶するフレーム画像バッファ手段の一例として機能する。また、画像合成装置１０は、時刻と関連付けて前記フレーム画像を順に記憶するフレーム画像バッファ手段の一例として機能する。

【0048】

次に、画像合成装置１０は、時刻に関連付けてチャンネル情報を記憶する（ステップＳ５）。具体的には、チャンネル情報バッファ部２４が、時計部２２から取得した時刻情報に関連付けて、チャンネル情報をＦＩＦＯ方式で記憶する。

【0049】

このように、画像合成装置１０は、前記チャンネル情報を順に記憶するチャンネル情報バッファ手段の一例として機能する。また、画像合成装置１０は、時刻と関連付けて前記チャンネル情報を順に記憶するチャンネル情報バッファ手段の一例として機能する。

【0050】

次に、画像合成装置１０は、フレーム落ちがあるか否かを判定する（ステップＳ６）。具体的には、検出部２６が、チャンネル情報バッファ部２４から取り出したチャンネル情報のチャンネル番号が連続しているか否かを判定することにより、フレーム落ちがあるか否かを判定する。また、検出部２６が、フレーム落ちがある場合、フレーム落ちのチャンネル番号を特定する。なお、チャンネルコントローラ１２のチャンネル遷移が乱れる場合、チャンネル情報のチャンネル番号が不連続になる。

【0051】

このように、画像合成装置１０は、前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出手段の一例として機能する。

【0052】

フレーム落ちが無い場合（ステップＳ６；ＮＯ）、画像合成装置１０は、フレーム画像とチャンネル情報とを関連付ける（ステップＳ７）。具体的には、紐付け部２５が、フレーム画像にチャンネル番号を付ける。

【0053】

次に、画像合成装置１０は、フレーム落ちがあるか否かを判定する（ステップＳ８）。具体的には、検出部２６が、紐付け部２５からフレーム画像の時刻情報を取得し、チャンネル情報バッファ部２４からチャンネル情報の時刻情報を取得する。そして、検出部２６が、フレーム画像の時刻情報と、チャンネル情報の時刻情報とを比較して、時刻に所定以上の違いがある場合、フレーム落ちがあると判定する。また、検出部２６が、フレーム落ちがある場合、フレーム落ちのチャンネル番号を特定する。なお、画像処理等に負荷がかかり、フレーム画像のエンコード等が遅れる影響で、フレーム画像バッファ部からフレーム画像があふれ出してしまう。

【0054】

このように、画像合成装置１０は、前記チャンネル情報バッファ手段から取り出したチャンネル情報に基づき、前記フレーム画像バッファ手段から取り出した複数のフレーム画像のフレーム落ちを検出する検出手段の一例として機能する。また、画像合成装置１０は、前記フレーム画像に対応する時刻と、前記チャンネル情報に対応する時刻とを比較して、フレーム落ちを検出する検出手段の一例として機能する。

【0055】

フレーム落ちが無い場合（ステップＳ８；ＮＯ）、画像合成装置１０は、フレーム画像を記憶する（ステップＳ９）。具体的には、メモリ部２７が、チャンネル番号に関連付けて、フレーム画像を記憶する。

【0056】

このように、画像合成装置１０は、前記フレーム画像バッファ手段から取り出した複数のフレーム画像と、前記チャンネル情報バッファ手段から取り出した前記チャンネル情報とを関連付けて記憶するフレーム画像記憶手段の一例として機能する。

【0057】

次に、画像合成装置１０は、画像を合成する（ステップＳ１０）。具体的には、画像合成部２８が、チャンネル番号に従い、チャンネル番号に対応する位置にフレーム画像をはめ込む。図５に示すように、画像合成部２８が、合成画像におけるチャンネル番号に対応する位置にフレーム画像をはめ込む。

【0058】

このように、画像合成装置１０は、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段の一例として機能する。

【0059】

フレーム落ちがある場合（ステップＳ６；ＹＥＳ）、または、フレーム落ちがある場合（ステップＳ８；ＹＥＳ）、画像合成装置１０は、メモリ部２７から過去のフレーム画像を取得する（ステップＳ１１）。具体的には、紐付け部２５が、フレーム落ちがあるチャンネル番号に従い、メモリ部２７から前回のフレーム画像を取得する。

【0060】

次に、ステップＳ１０のように、画像合成装置１０の画像合成部２８が、取得した前回のフレーム画像を、チャンネル番号に従い、チャンネル番号に対応する位置にフレーム画像をはめ込む。図６に示すように、例えば、チャンネル番号ｃｈ２のフレーム画像の落ちがあった場合、画像合成部２８が、フレーム画像の落ちがあったチャンネル番号の位置に、取得した前回のフレーム画像をはめ込む。

【0061】

このように、画像合成装置１０は、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段の一例として機能する。また、画像合成装置１０は、前記検出手段の検出結果に基づき、前記チャンネル情報バッファ手段から取り出したチャンネル情報に応じて、前記フレーム画像バッファ手段から取り出した複数のフレーム画像から合成画像を生成する合成手段の一例として機能する。また、画像合成装置１０は、前記フレーム落ちが検出された場合、フレーム落ちがあるフレーム画像のチャンネル情報に基づき前記フレーム画像記憶手段から読み出したフレーム画像と、前記フレーム画像バッファ手段から取り出したフレーム画像とから合成画像を生成する合成手段の一例として機能する。

【0062】

次に、画像合成装置１０は、最後のチャンネルであるか否かを判定する（ステップＳ１２）。具体的には、画像合成部２８が、最後のチャンネルである第４チャンネルであるか否かを判定する。

【0063】

最後のチャンネルで無い場合（ステップＳ１２；ＮＯ）、画像合成装置１０は、次のフレーム画像を取得する。

【0064】

最後のチャンネルである場合（ステップＳ１２；ＹＥＳ）、画像合成装置１０の画像合成部２８は、図５または図６に示すように、各チャンネルからのフレーム画像から合成された合成画像を、画像圧縮部２９に出力する。すなわち、画像合成装置１０の画像合成部２８は、１フレーム分の合成画像を出力する。

【0065】

次に、画像合成装置１０のチャンネル切替部２１は、次の第２サイクルに移り、第１チャンネルの動画データのフレーム画像を出力し、画像合成装置１０は、ステップ１からステップＳ１３の処理を繰り返す。

【0066】

次に、図７に示すように、画像合成装置１０は、画像が合成された後（ステップＳ２０）、動画を圧縮する（ステップＳ２１）。具体的には、画像圧縮部２９（プロセッサ１３の動画処理用のコプロセッサ）が、動画の圧縮ソフトウェアを実行して、合成画像の動画を逐次圧縮する。

【0067】

このように、画像合成装置１０は、前記合成手段により合成された合成画像を圧縮する画像圧縮手段の一例として機能する。

【0068】

次に、画像合成装置１０は、動画を記憶する（ステップＳ２２）。具体的には、画像合成装置１０は、記録媒体３０に、圧縮された動画データを記憶する。

【0069】

以上、本実施形態によれば、フレーム画像とチャンネル情報とを、別々にフレーム画像バッファ部２３とチャンネル情報バッファ部２４とにバッファして、チャンネル情報に応じて、フレーム画像を合成することにより、ローコストで、質の高い合成画像を得ることができる。

【0070】

また本実施形態によれば、フレーム画像バッファ部２３により同期を取るので、フレーム落ちが生じにくくなる。また、フレーム落ちが生じても、チャンネル情報バッファ部２４のチャンネル情報に基づき、合成画像が得られるので、チャンネル番号のずれた合成画像が生成されない。

【0071】

また、ＳＤ（Standard Density）画質用のチャンネルコントローラを用いたまま、リサイズすることなく、高解像度の合成画像を得ることができる。また、リサイズする必要がないので、処理数を減らすことができる。

【0072】

また、チャンネル情報バッファ部２４から取り出したチャンネル情報に基づき、フレーム画像バッファ部２３から取り出した複数のフレーム画像のフレーム落ちを検出する検出部２６を更に備え、画像合成部２８が、検出部２６の検出結果に基づき、チャンネル情報バッファ部２４から取り出したチャンネル情報に応じて、フレーム画像バッファ部２３から取り出した複数のフレーム画像から合成画像を生成する場合、例えば、チャンネル番号に抜けが生じたときや、フレーム画像に対応する時刻とチャンネル情報に対応する時刻とのずれが生じたとき等により、フレーム落ちを検出でき、検出結果に基づき、合成画像に乱れがないように合成できる。

【0073】

また、フレーム画像バッファ部２３が、時刻と関連付けてフレーム画像を順に記憶し、チャンネル情報バッファ部２４が、時刻と関連付けて前記チャンネル情報を順に記憶し、検出部２６が、フレーム画像に対応する時刻と、チャンネル情報に対応する時刻とを比較して、フレーム落ちを検出する場合、画像処理等に負荷がかかり、フレーム落ちが生じても、合成画像に乱れがないように合成できる。

【0074】

また、フレーム画像バッファ部２３から取り出した複数のフレーム画像と、チャンネル情報バッファ部２４から取り出したチャンネル情報とを関連付けて記憶するメモリ部２７を更に備え、フレーム落ちが検出されたとき、画像合成部２８が、フレーム落ちがあるフレーム画像のチャンネル情報に基づきメモリ部２７から読み出したフレーム画像と、フレーム画像バッファ部２３から取り出したフレーム画像とから合成画像を生成する場合、フレームの落ちが生じても、過去のフレーム画像を代わりに、合成画像に使用することにより、自然な合成画像ができる。

【0075】

また、チャンネル情報バッファ部２４のバッファ数を多くして、メモリ量を必要とするフレーム画像バッファ部２３のバッファ数を少なくできるので、画像合成装置１０のメモリを節約でき、コストを抑えることができる。

【0076】

なお、画像合成装置１０は、ステップＳ１１のように、過去のフレーム画像を取得せず、ステップＳ１０において、図８に示すように、フレーム落ちがあるチャンネル番号（ｃｈ２）のフレーム画像をはめ込まなくてもよい。あるチャンネルに対応するフレーム画像の抜けがあるが、合成画像において、フレーム画像のチャンネル番号が対応しているので、チャンネル番号のずれた合成画像が生成されない。

【0077】

また、チャンネル数は、４に限らず、２でも、９でもよい。

【0078】

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

【符号の説明】

【0079】

１０：画像合成装置
１２：チャンネルコントローラ（切替手段）
１３：プロセッサ
１４：メモリ
２１：チャンネル切替部（切替手段）
２２：時計部
２３：フレーム画像バッファ部（フレーム画像バッファ手段）
２４：チャンネル情報バッファ部（チャンネル情報バッファ手段）
２５：紐付け部
２６：検出部（検出手段を）
２７：メモリ部（フレーム画像記憶手段）
２８：画像合成部（合成手段）
２９：画像圧縮部（画像圧縮手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】