(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024050021
(43)【公開日】2024-04-10
(54)【発明の名称】映像信号変換装置
(51)【国際特許分類】
H04N 7/01 20060101AFI20240403BHJP
【FI】
H04N7/01 270
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022156585
(22)【出願日】2022-09-29
(71)【出願人】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】加藤 昭宏
【テーマコード(参考)】
5C063
【Fターム(参考)】
5C063AA01
5C063AA06
5C063BA03
5C063CA05
(57)【要約】
【課題】高フレームレートの映像信号を変換して低フレームレートの映像信号を生成するにあたり、動きの滑らかな低フレームレートの映像を得ることができる。
【解決手段】代表的な本発明の映像信号変換装置の一つは、高フレームレートの第1映像信号を低フレームレートの第2映像信号に変換する映像変換部を備え、前記映像変換部は、前記第1映像信号の連続する複数の第1フレームを加算して、前記第2の映像信号に含まれる第2フレームを生成することを特徴とするものである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
高フレームレートの第1映像信号を低フレームレートの第2映像信号に変換する映像変換部を備え、
前記映像変換部は、前記第1映像信号の連続する複数の第1フレームを加算して、前記第2映像信号に含まれる第2フレームを生成する
ことを特徴とする映像信号変換装置。
【請求項2】
請求項1に記載の映像信号変換装置であって、
前記映像変換部は、前記第1フレームごとに、重み付け加算して前記第2フレームを生成する
こと、を特徴とする映像信号変換装置。
【請求項3】
請求項1に記載の映像信号変換装置であって、
前記映像変換部は、連続する2つ以上の前記第1フレームを加算する
ことを特徴とする映像信号変換装置。
【請求項4】
請求項1に記載の映像信号変換装置であって、
前記映像変換部と直接接続された主記憶部を備える
こと、を特徴とする映像信号変換装置。
【請求項5】
請求項1に記載の映像信号変換装置であって、
前記第2映像信号を、前記第1映像信号と異なる解像度の第3映像信号に変換する解像度変換部を備える
こと、を特徴とする映像信号変換装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号変換装置に関する。
【背景技術】
【0002】
従来、フレームレート60pの動画とフレームレート24pの映像を同じシステムで切り替えて運用させるにあたり、カメラ側でフレームレート60pのプログレッシブ走査で常に動作させつつ、制御装置側でフレームレート60pからフレームレート24pにフレームレートの変換を行っていた。
特許文献1には、テレビジョンカメラで撮影したフレームレート60pの4K映像信号を、フレームメモリを用いてフレームレート24pの映像信号に変換する映像信号変換システムとして次のようなシステムが開示されている。
「シリアルパラレル変換部とバッファメモリ部と24Pコンバータ部と画素補間部とパラレルシリアル変換部を有し、24Pコンバータ部は毎秒24コマのHD映像信号を出力し、画素補間部は24Pコンバータ部の出力から毎秒24コマの4K映像信号を生成して出力するカメラ制御装置。」
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の映像変換システムは、撮像素子が一部のCMOS等の場合、フレームレートの低下による画素の読み出し時間のズレにより、高速移動被写体の歪みが目立つローリングシャッター効果を生じることがあった。また、例えば、フレームレート60pの映像信号において5フレーム中3フレームを廃棄することにより、フレームレート24pで撮影した時と比べて、動体撮影時の動きの滑らかさが失われてしまうという課題があった。
そこで本発明は、高フレームレートの映像信号を変換して低フレームレートの映像信号を生成するにあたり、動きの滑らかな低フレームレートの映像を得ることを目的とする。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、代表的な本発明の映像信号変換装置の一つは、高フレームレートの第1映像信号を低フレームレートの第2映像信号に変換する映像変換部を備え、前記映像変換部は、前記第1映像信号の連続する複数の第1フレームを加算して、前記第2の映像信号に含まれる第2フレームを生成することを特徴とするものである。
【発明の効果】
【0006】
本発明によれば、高フレームレートの映像信号を変換して低フレームレートの映像信号を生成するにあたり、動きの滑らかな低フレームレートの映像を得ることができる。
上記した以外の課題、構成および効果は、以下の実施をするための形態における説明により明らかにされる。
【図面の簡単な説明】
【0007】
【
図1】実施形態に係る映像信号変換装置の構成の一例を示す図。
【
図2】実施形態に係る解像度変換部の構成の一例を示す図。
【
図3】主記憶部におけるフレーム単位の読み出し処理と書き込み処理のタイミングチャートを示す図。
【
図4】主記憶部でのライン単位のタイミングチャートを示す図。
【発明を実施するための形態】
【0008】
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【0009】
[実施形態]
まず、
図1を参照して、実施形態に係る映像信号変換装置10について説明する。
図1は、本実施形態に係る映像信号変換装置10の構成の一例を示す図である。
映像信号変換装置10は、例えば、スポーツ中継等で利用されるフレームレート60pの映像を、映画やドラマ等で利用されるフレームレート24pの映像に変換する。
映像信号変換装置10は、第1のデータ転送部110と、映像変換部120と、主記憶部130と、解像度変換部140と、を主に含む。
【0010】
<第1のデータ転送部>
第1のデータ転送部110は、第1映像信号210を映像変換部120に適したデータ転送形式に変換する。
第1映像信号210は、解像度が4Kであり、フレームレートが60pの高解像度かつ高フレームレートの映像信号である。
第1映像信号210は、例えば、12G-SDIのような高解像度に適したデータ転送規格で映像機器間を転送される。
本実施形態では、第1映像信号210は12G-SDI規格で映像信号変換装置10に入力される。第1のデータ転送部110は、映像変換部120へのデータ転送に適した形式となるように、入力されたシリアル形式をパラレル形式に変換するシリアル-パラレル変換をする。
本実施形態では、第1のデータ転送部110は、シリアル-パラレル変換をしたが、入力されるデータ転送規格に基づいて別のデータ転送規格への変換をしてもよい。例えば、パラレル-シリアル変換をしてもよい。
【0011】
<映像変換部>
映像変換部120は、高解像度かつ高フレームレートの第1映像信号210を高解像度かつ低フレームレートの第2映像信号220に変換する。
映像変換部120は、変換した第2映像信号220を、外部機器に出力するのに適した第3映像信号230に変換する解像度変換部140に送信する。
このとき、映像変換部120は、第1映像信号210の解像度を変更せずに、第2映像信号220に変換する。
詳細な処理については、
図3を用いて後述する。
【0012】
<主記憶部>
主記憶部130は、映像変換部120と直接接続され、映像変換部120が処理を実行するためのデータを一時的に記憶する。
なお、主記憶部130については、周知であるので具体な構成の説明は省略する。
本実施形態では、主記憶部130は、DDR4 SDRAM規格のDRAMであるが、その他の規格であってもよい。例えば、DDR5 SDRAMであってもよいし、LPDDRであってもよい。
【0013】
<解像度変換部>
次に、
図2を参照して、実施形態に係る解像度変換部140について説明する。
図2は、本実施形態に係る解像度変換部140の構成の一例を示す図である。
解像度変換部140は、外部機器が映像信号を再生するのに適した形式に変換し、外部機器に映像信号を転送する。
具体的には、解像度変換部140は、第2映像信号220を第3映像信号230に変換する。第3映像信号230は複数種類の形式を含んでよい。
ここで、第3映像信号230は、低いフレームレートの映像信号を構成する第3のフレームで構成されている。
解像度変換部140は、例えば、第2映像信号220の解像度を4Kから2Kに変換する。解像度変換部140は、例えば、第2映像信号220の映像を4分割した左上の映像のみを変換することができる。
解像度変換部140は、例えば、第2映像信号220を6G-SDIでの出力に適した第3映像信号230に変換することができる。
解像度変換部140は、画素整列部141と、画素変換部142と、第2のデータ転送部143と、を主に含む。
【0014】
画素整列部141は、第2映像信号220の画素配列を2サンプルインターリーブ配列からスクエアディビジョン配列に並べ替えを行う。
画素整列部141は、例えば、第1映像信号210に記録された映像を4分割して出力する場合の4分割映像にする処理を実行する。
画素整列部141は当該処理が不要ならば、当該処理を実行せず、第2映像信号220をそのまま出力してもよい。
【0015】
画素変換部142は、第2映像信号220の解像度を変換する。本実施形態では、フレームレートの変換は映像変換部120で行われ、解像度の変換は画素変換部142で行われるが、必ずしもこれに限定されず、例えば一体的に変換が行われてもよい。
画素変換部142は、外部機器の出力に適した解像度に変換する。例えば、画素変換部142は、フレームレートをそのままに、解像度を4Kから2Kに変換して出力する。
【0016】
画素変換部142は、解像度を変換するにあたり、特定の部分の解像度のみを変換してもよい。例えば、第1映像信号210に記録された映像を4分割した場合の左上部分の解像度のみを変換し、出力してもよい。
画素変換部142は当該処理が不要ならば、当該処理を実行せず、第2映像信号220をそのまま出力してもよい。
【0017】
第2のデータ転送部143は、第2映像信号220を外部出力に適したデータ転送形式に変換する。
本実施形態では、第3映像信号230は例えば、12G-SDI規格で外部機器に出力される。第2のデータ転送部143は外部機器へのデータ転送に適した形式となるように、入力されたパラレル形式をシリアル形式に変換するパラレル-シリアル変換をする。
本実施形態では、第2のデータ転送部143は、パラレル-シリアル変換をしたが、入力されるデータ転送規格に基づいて別のデータ転送規格への変換をしてもよい。例えば、シリアル-パラレル変換をしてもよい。
【0018】
次に、
図3を参照して、映像変換部120の処理について説明する。
図3は、主記憶部130におけるフレーム単位の読み出し処理と書き込み処理のタイミングチャートを示す図である。
【0019】
映像変換部120は、高フレームレートの映像信号を、低フレームレートの映像信号に変換する際、連続する複数の第1フレームを加算して、第2フレームを生成する。
映像変換部120は、
図3に示すように、フレームレート60pの第1映像信号210をフレームレート24pの第2映像信号220に変換する。
ここで、第1フレームは、高フレームレートの映像信号を構成するフレームである。また、第2フレームは、低フレームレートの映像信号を構成するフレームである。
【0020】
以下の処理においては、本実施形態で示すように、第1映像信号210が解像度4Kのフレームレート60pの0.2秒の時間長の映像であり、第2映像信号220が解像度4Kのフレームレート24pの0.2秒の時間長の映像であり、第3映像信号230が解像度2Kのフレームレート24pの0.2秒の時間長の映像であることを前提に説明するが、その他の解像度、フレームレート、時間長の映像信号であってもよい。
【0021】
発明の実施においては、第1映像信号210のフレームレートが、第2映像信号220のフレームレートよりも高ければその他のフレームレートであってもよい。
例えば、第1映像信号210のフレームレートは100pであってもよいし、第2映像信号220がフレームレート12pであってもよい。
【0022】
第1映像信号210に含まれるフレームを最初から順に番号を付与した場合、第1映像信号210には、フレーム番号がFin0~Fin11まで第1フレームが含まれる。同様に、第2映像信号220に含まれるフレームを最初から順に番号を付与した場合、第2映像信号220には、フレーム番号がFmi0~Fmi4までの第2フレームが含まれる。
【0023】
本実施形態では、映像変換部120は、フレームレート60pの第1映像信号210をフレームレート24pの第2映像信号220に変換するときに、フレーム数が36個削減される。つまり、フレーム数を1/2.5倍にする。
【0024】
まず、映像変換部120は、第1映像信号210の全ての第1フレームを主記憶部130に書き込む。
次に、映像変換部120は、主記憶部130から複数回のタイミングに分けて第1フレームを読み出す。
【0025】
例えば、映像変換部120は、フレーム番号がFin0、Fin2、Fin5、Fin7の第1フレームを読み出すタイミング(1)と、フレーム番号がFin1、Fin3、Fin6、Fin8の第1フレームを読み出すタイミング(2)と、フレーム番号がFin4、Fin9の第1フレームを読み出すタイミング(3)の3回のタイミングに分けて読み出す。
【0026】
ここで、映像変換部120が主記憶部130に第1映像信号210の全ての第1フレームを書き込む処理と、映像変換部120が主記憶部130から第1フレームを読み出し処理は同時に実行されるが、同じフレーム番号の第1フレームは同時に書き込み処理と読み出し処理がされない。
例えば、フレーム番号がFin0、Fin1の第1フレームは、主記憶部130に書き込まれてから、フレーム番号がFin2の第1フレームが書き込まれたときに、主記憶部130から読み出される。このとき、フレーム番号がFin0、Fin1の第1フレームは、約2フレーム遅れて読み出し処理がされる。
【0027】
次に、映像変換部120は、異なるタイミングで読み出したフレーム番号が連続する2つ以上のフレームを合成して加算することで、第2フレームを生成する。
図3において、下段の列は、読み出した第1フレームに基づいて生成する第2フレームについて示している。
【0028】
例えば、映像変換部120は、フレーム番号がFmi0の第2フレームをFin0、Fin1の第1フレームを合成することで生成する。
例えば、映像変換部120は、フレーム番号がFmi1の第2フレームをFin2、Fin3、Fin4の第1フレームを合成することで生成する。
例えば、映像変換部120は、フレーム番号がFmi2の第2フレームをFin7、Fin8、Fin9の第1フレームを合成することで生成する。
【0029】
映像変換部120は、第1フレームを均等に加算して第2フレームを生成しているが、重み付けをして生成してもよい。
例えば、映像変換部120は、フレーム番号がFmi1の第2フレームを生成するにあたり、Fin2を1/4、Fin3を1/4、Fin4を1/2の比率で加算してもよい。
【0030】
本実施形態では、映像変換部120は、書き込んだ第1映像信号210の全ての第1フレームを読み出すために、3回のタイミングに分けて読み出しをしたが、3回以外の回数で読み出してもよい。
【0031】
次に、
図4を参照して、映像変換部120が、ライン単位で実行する処理について説明する。
図4は、主記憶部130でのライン単位のタイミングチャートを示す図である。
以下の処理においては、
図3の領域Aにおける主記憶部130のタイミングチャートについて説明するが、その他の領域について同様である。
【0032】
図4の(A)は、第1映像信号210が書き込み処理をする場合の同期信号を示すチャートである。
図4の(B)は、第1フレームの書き込み処理をライン単位で示すタイミングチャートである。
図4の(C)は、第2フレームの生成のための第1フレームの読み出し処理をライン単位で示すタイミングチャートである。
ここで、
図4の(B)に示された実線で内部にnが記載された六角形記号は、Fin4の第1フレームのn番目のラインであるnライン(nは正の整数、以下同様)を示す。
ここで、
図4の(C)に示された内部にnが記載された丸記号は、Fin2の第1フレームのnラインを示す。
ここで、
図4の(C)に示された内部にnが記載された三角形記号は、Fin3の第1フレームのnラインを示す。
ここで、
図4の(C)に示された内部にnが記載された四角形記号は、Fin4の第1フレームのnラインを示す。
【0033】
映像変換部120は、
図4の(A)で示される同期信号に基づいてフレーム番号がFin4の第1フレームの書き込み処理をする。
例えば、映像変換部120は、同期信号301に基づいてFin4の第1フレームの1番目のラインを主記憶部130に書き込み処理をする。
同様に、同期信号302に基づいてFin4の第1フレームの2番目のライン、同期信号303に基づいてFin4の第1フレームの3番目のライン、同期信号304に基づいてFin4の第1フレームの4番目のライン、同期信号305に基づいてFin4の第1フレームの5番目のラインを主記憶部130に書き込み処理をする。
以下、同様に映像変換部120は、同期信号に基づいて、Fin4の第1フレームの全てのラインを主記憶部130に書き込み処理をする。
【0034】
次に、映像変換部120は、フレーム番号がFmi1の第2フレームの生成に利用される第1フレームのラインを主記憶部130からを読み出す。
例えば、
図3に示すように、フレーム番号がFin4の第1フレームの書き込み処理をする場合、映像変換部120は、同タイミングで、フレーム番号がFmi1の第2フレームの生成に利用するフレーム番号がFin2、Fin3、Fin4の第1フレームの読み出し処理を実行している。
【0035】
このとき、映像変換部120は、
図4に示すように、同期信号301が発せられたタイミングでフレーム番号がFmi1の第2フレームの1番目のラインを生成するため、フレーム番号がFin2、Fin3、Fin4の第1フレームの1番目のラインを主記憶部130から読み出す。
【0036】
次に、映像変換部120は、
図4に示すように、同期信号303が発せられたタイミングでフレーム番号がFmi1の第2フレームの2番目のラインを生成するため、フレーム番号がFin2、Fin3、Fin4の第1フレームの2番目のラインを主記憶部130から読み出す。
【0037】
同様に、映像変換部120は、同期信号のいくつかに基づいてFmi1の第2フレームの対応するラインを生成するため、フレーム番号がFin2、Fin3、Fin4の第1フレームの対応するラインを主記憶部130から読み出す。
【0038】
また、本実施形態では、映像変換部120は、同期信号に基づいてフレーム番号がFin2、Fin3、Fin4の第1フレームの対応するラインを読み出す処理について説明しているが、同期信号に基づかなくてもよい。
例えば、映像変換部120は、第2フレームの生成に利用する第1フレームの読み出し処理に支障がないならば、書き込み処理に基づかず、独立して読み出し処理をしてもよい。
【0039】
以上、本実施形態では、第1映像信号210に含まれる第1フレームを廃棄することなく、出力する第2映像信号220を構成する第2フレームの生成に利用することができる。これにより、第1映像信号210よりもフレームレートが低い第2映像信号220であっても、映像の動きの滑らかさを失わせないことができる。
【0040】
本発明は、上述した各実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【0041】
また、本発明は以下のような態様をとることもできる。
(態様1)
高フレームレートの第1映像信号を低フレームレートの第2映像信号に変換する映像変換部を備え、
前記映像変換部は、前記第1映像信号の連続する複数の第1フレームを加算して、前記第2の映像信号に含まれる第2フレームを生成する
ことを特徴とする映像信号変換装置。
(態様2)
態様1に記載の映像信号変換装置であって、
前記映像変換部は、前記第1フレームごとに、重み付け加算して前記第2フレームを生成する
こと、を特徴とする映像信号変換装置。
(態様3)
態様1又は2に記載の映像信号変換装置であって、
前記映像変換部は、連続する2つ以上の前記第1フレームを加算する
ことを特徴とする映像信号変換装置。
(態様4)
態様1ないし3のいずれか1つに記載の映像信号変換装置であって、
前記映像変換部と直接接続された主記憶部を備える
こと、を特徴とする映像信号変換装置。
(態様5)
態様1ないし4のいずれか1つに記載の映像信号変換装置であって、
前記第2映像信号を、前記第1映像信号と異なる解像度の第3映像信号に変換する解像度変換部を備える
こと、を特徴とする映像信号変換装置。
【符号の説明】
【0042】
10 映像信号変換装置
110 第1のデータ転送部
120 映像変換部
130 主記憶部
140 解像度変換部
141 画素整列部
142 画素変換部
143 第2のデータ転送部
210 第1映像信号
220 第2映像信号
230 第3映像信号
301、302、303、304、305 同期信号