特開 2024-143865 映像処理装置、映像処理方法、画面合成手段

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143865

(43)【公開日】2024-10-11

(54)【発明の名称】映像処理装置、映像処理方法、画面合成手段

(51)【国際特許分類】

   H04N 5/262 20060101AFI20241003BHJP

【ＦＩ】

H04N5/262 040

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023056781

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】320012037

【氏名又は名称】ラピステクノロジー株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】本橋 拓哉

【テーマコード（参考）】

5C023

【Ｆターム（参考）】

5C023AA11

5C023BA11

5C023CA01

(57)【要約】

【課題】重畳させる映像の形を自由に決めることができる映像処理装置、及び映像処理方法を得ることを目的とする。
【解決手段】映像処理装置は、複数の映像を１つのパネルに表示するように画面合成を行う画面合成部を備え、前記画面合成部が出力する画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた第１の映像を少なくとも１つ含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の映像を１つのパネルに表示するように画面合成を行う画面合成部を備え、
前記画面合成部が出力する画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた第１の映像を少なくとも１つ含む、
映像処理装置。

【請求項2】

前記画面合成部による映像を重畳する画面合成において、重畳させる前記第１の映像の幅をライン毎に変動させるデータセレクト信号を生成して前記画面合成部に送信する信号生成部を更に備える、
請求項１に記載の映像処理装置。

【請求項3】

前記データセレクト信号の幅について、少なくとも１つのパターンデータを記憶する記憶部を更に備える、
請求項２に記載の映像処理装置。

【請求項4】

前記複数の映像を取得する映像取得部と、
前記画面合成映像を表示する映像表示部と、を更に備える、
請求項１～請求項３のいずれか１項に記載の映像処理装置。

【請求項5】

複数の映像を１つのパネルに表示するように画面合成を行う画面合成工程を備え、
前記画面合成工程で生成された画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた映像を少なくとも１つ含む、
映像処理方法。

【請求項6】

前記複数の映像を取得する映像取得工程と、
前記画面合成映像を表示する映像表示工程と、を更に備える、
請求項５に記載の映像処理方法。

【請求項7】

複数の映像を１つのパネルに表示するために、映像を重畳する画面合成手段において、重畳させる映像の幅をライン毎に変動させるデータセレクト信号を含む信号群を出力する、画面合成手段。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像同士を重畳して表示するための映像処理装置、映像処理方法、及び画面合成手段に関する。

【背景技術】

【0002】

近年、車両の周辺監視システムや電子ミラー（又はデジタルミラー）、又はドライブレコーダ等、自動車に搭載される車載カメラの数が増加している。これら複数の車載カメラからの映像を表示する表示装置においては、一目で確認できる様に、１つのパネルに表示するための画面合成が行われる。

【0003】

例えば特許文献１には、少なくとも２台のカメラと、カメラによる車両の左右の撮影画像信号から左右の画像を一つの画面に表示するために左右表示画面信号に合成する左右画面合成手段を備える、車載運転支援カメラ装置が開示されている（請求項１、段落０００７、図４、図６）。

【0004】

このように、複数の映像を１つのパネルに表示させ一目で確認できる様にするためには、見栄えや見やすさ等が重要な要素となる。これらを向上させるため、特に映像同士を重畳して表示する態様では、重畳させる映像の角をとった形で表示を行う等、重畳させる映像の形を自由に決められることが求められている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８－１１７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示は、上記事実を考慮して、重畳させる映像の形を自由に決めることができる映像処理装置、映像処理方法、及び画面合成手段を得ることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の第１態様に係る映像処理装置は、複数の映像を１つのパネルに表示するように画面合成を行う画面合成部を備え、前記画面合成部が出力する画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた第１の映像を少なくとも１つ含む。

【0008】

上記課題を解決するため、本発明の第２態様に係る映像処理方法は、複数の映像を１つのパネルに表示するように画面合成を行う画面合成工程を備え、前記画面合成工程で生成された画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた映像を少なくとも１つ含む。

【0009】

上記課題を解決するため、本発明の第３態様に係る画面合成手段は、複数の映像を１つのパネルに表示するために、映像を重畳する画面合成手段において、重畳させる映像の幅をライン毎に変動させるデータセレクト信号を含む信号群を出力する。

【発明の効果】

【0010】

以上説明したように、本発明によれば、重畳させる映像の形を自由に決めることができる映像処理装置、映像処理方法、及び画面合成手段を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本開示による画面合成映像の生成方法を説明する図である。

【図2】データセレクト信号を含む映像伝送フォーマットを示す図である。

【図3】実施形態に係る映像処理装置１０の構成を示すブロック図である。

【図4】実施形態に係る映像処理装置１０の処理動作を示すフローチャートである。

【図5】比較例の画面合成映像の生成方法を説明する図である。

【図6】データイネーブル信号を含む映像伝送フォーマットを示す図である。

【図7】重畳させる映像の形状を円形とする場合を例示する図である。

【発明を実施するための形態】

【0012】

まず、本開示に係る画面合成の仕組みについて説明する。なお、各図において互いに同一又は相当する部材には同一あるいは類似の符号を付し、重複した説明は省略する。

【0013】

図５は、比較例の画面合成映像の生成方法を説明する図である。カメラ１から送られた映像１（長方形）にカメラ２から送られた映像２（長方形）を重畳させて１つのパネルに表示させるために画面合成が行われる。画面合成時には、画面合成用にデータイネーブル信号が生成される。しかし、図６に示すように、データイネーブル信号は、全走査線（全ライン）の幅が同じ信号である。一般に、カメラの映像伝送では、映像の形は長方形として入力される。そのため、水平／垂直の幅も固定（一定）のデータイネーブル信号が通常使用される。データイネーブル信号を使用した場合、重畳させる映像も長方形で固定され、重畳させる映像の形を変えることはできない。

【0014】

図１は、本開示に係る画面合成映像の生成方法を説明する図である。カメラ１から送られた映像１（長方形）にカメラ２から送られた映像２（長方形）を重畳させて１つのパネルに表示させるために画面合成が行われる。画面合成時には、画面合成用にデータイネーブル信号に加え更にデータセレクト信号が生成される。図２に示すように、データセレクト信号は、ライン毎に幅が異なる信号とすることができる。このように、外部から入力するデータセレクト信号が例えば“Ｈ”の時のみ、カメラ２からの映像２を出力する。そうすると、映像２の幅がライン毎に変わるため、重畳させる映像の形を変えることができる。このように、データセレクト信号を使用して画面合成時の重畳画像の幅をライン毎に指定することにより、重畳させる映像の形を自由に決めることができる。図１には重畳させた映像２について２種類の形が示されている。例えば、時間ごとに重畳させる映像２の形を変えてもよい。又は、２種類の形を異なるパネルに同時に表示させてもよい。

【0015】

なお、本明細書において、「１ライン」とはディスプレイなどの表示装置における画面の左から右に描かれる水平方向の一本の走査線を指す。「データセレクト信号」とは、ライン毎に“Ｈ”（ハイレベル）又は“Ｌ”（ローレベル）の幅を変更して、重畳させる映像の出力を制御する信号である。重畳させる映像の出力を“Ｈ”のときとするか“Ｌ”のときとするかは特に限定されない。「重畳させる映像」とは、重ねた時に上側（映像の視聴者側）となる映像である。

【0016】

図２に映像伝送フォーマットを示す。各信号は以下のとおりである。垂直同期信号は、走査の垂直方向のタイミングを決定する信号である。水平同期信号は、走査の水平方向のタイミングを決定する信号である。データイネーブル信号は、映像の出力を有効にするか無効にするかを決定する信号である。データセレクト信号は、映像の出力を有効にするか無効にするかを決定する信号であるが、ライン毎に幅を自由に変更することができる。そのため、重畳させる映像の出力をライン毎に異なる幅で指定することができる。よって、重畳させる映像の形を自由に決定することができる。

【0017】

以下、図３を用いて本発明の実施形態に係る映像処理装置１０について説明する。映像処理装置１０は、ＣＰＵ（Central Processing Unit、中央演算装置）、ＲＯＭ（Read Only Memory、リードオンリーメモリ）、ＲＡＭ（Random Access Memory、ランダムアクセスメモリ）を備えたコンピュータであってもよい。図３は、映像処理装置１０の構成を示すブロック図である。映像処理装置１０は、記憶部３０、信号生成部４０、画面合成部５０、制御部７０を備える。映像処理装置１０は、映像取得部２０、映像表示部６０を更に備えてもよい。なお、映像処理装置１０では、記憶部３０に記憶されたプログラムがＣＰＵで実行されることで、映像取得部２０、信号生成部４０、画面合成部５０、映像表示部６０、及び制御部７０の各部として機能する。映像処理装置１０は、例えば自動車等の車両に搭載される車載用の装置であって、映像取得部２０としての車載カメラ等からの複数の映像データを、画面合成部５０によって１つのパネルに表示するように画面合成を行い、映像表示部６０としてのディスプレイに表示させる装置であってもよい。各部について以下に詳述する。

【0018】

映像取得部２０は、経時的に変化する画像（すなわち映像）を取得する。例えば、車両に搭載するカメラ全般であってもよい。具体的には、ドライブレコーダのカメラ、車の後方をカーナビに表示するためのカメラのような車両の周辺を監視するカメラ、電子ミラー用カメラ等の車載カメラを挙げることができる。映像取得部２０は、少なくとも２つのカメラを有する。なおカメラの数は特に制限されない。

【0019】

記憶部３０は、データセレクト信号のパターンデータを予め記憶してもよい。例えば、映像取得部２０から送信される映像の幅はすでに決まっているため、重畳させる映像の幅に基づいて所望の形状となるように、データセレクト信号の幅のデータを予め記憶部３０に格納してもよい。データセレクト信号により形成される形状は特に限定されない。例えば、三角形、五角形等の多角形、星型多角形、楕円、円、半円、扇型であってもよい。このように重畳画像が所定の形状となるように、生成するデータセレクト信号のパターンデータを予め記憶部３０に格納しておくことができる。ユーザは、記憶部３０に格納された形状を、外部入力装置（不図示）を用いて選択することにより重畳させる映像の形を自由に決定することができる。なお記憶部３０は、例えば不揮発性の半導体メモリからなる記憶部であってもよい。

【0020】

信号生成部４０は、重畳させる映像の出力をライン毎に指定するデータセレクト信号を生成する。一例として、記憶部３０に格納された形状に基づいて、データセレクト信号を生成してもよい。又は、外部入力装置（不図示）を用いてユーザにより直接入力された形状に基づいて形成してもよい。

【0021】

画面合成部５０は、映像取得部２０が有する複数のカメラから受信した複数の映像データを１つのパネルに表示するように画面合成を行う。すなわち、マルチプレクサとしての役割を担う。このように、映像取得部２０からの入力を受け、これに基づいて映像表示部６０に表示するための画面合成映像を生成し、出力する。

【0022】

映像表示部６０は、画面合成部５０から送信される画面合成出力映像をパネルに表示する。映像表示部６０としては、特に限定されず液晶表示パネルから構成されてもよい。例えば、車載用ディスプレイ（車載モニター）を挙げることができる。車載モニターとしては、オンダッシュモニター、フリップダウンモニター、ヘッドレストモニター等を挙げることができる。

【0023】

制御部７０は、映像処理装置１０の各部の動作を制御する処理制御部である。例えば、各部のＯＮ／ＯＦＦを制御する。又は、例えば、ユーザが外部入力装置（不図示）を介して複数の映像の中から重畳させる（すなわち形状を変更させる）映像を選択し、所望の形状を記憶部３０に格納された形状の中から選択する。制御部７０の制御により、選択された映像と選択された形状について、記憶部３０に格納されたデータセレクト信号のパターンデータに基づいて、信号生成部４０がデータセレクト信号を生成する。生成されたデータセレクト信号は画面合成部５０に送られ、画面合成部５０が画面合成映像を出力する。映像表示部６０はその画面合成映像を表示するようにしてもよい。

【0024】

本実施例の映像処理装置１０の処理動作について、図４のフローチャートを参照して、説明する。映像取得部２０は、複数のカメラからの複数の映像を取得し、画面合成部５０に送信する（Ｓ－１）。信号生成部４０は、データセレクト信号を生成する（Ｓ－２）。
画面合成部５０は、映像取得部２０から複数の映像を受信し、信号生成部４０で生成されたデータセレクト信号を取得し、受信した複数の映像を１つのパネルに表示するために画面合成を行い、図２に示す映像伝送フォーマットのとおり、画面合成映像を映像表示部６０に送信する（Ｓ－３）。映像表示部６０は、画面合成映像を受信し、パネルに表示する（Ｓ－４）。

【0025】

本開示では、外部からデータセレクト信号を入力し、データセレクト信号により、水平／垂直の幅をライン毎に指定する。重畳させる映像はデータセレクト信号が“Ｈ”又は“Ｌ”時のみ、重畳画像を出力する。このように、ラインごとに幅を変化させたデータセレクト信号を入力することで、半円等の画面合成を行うことができる。例えば、重畳させる映像の形状が、重畳させる映像に含まれる要素に合わせた形状となるように、データセレクト信号を生成・出力してもよい。一例として、重畳させる映像の形状を、撮影した映像に含まれる車両の形状としてもよい。

【0026】

一例として図７に、メインスクリーン（Main Screen）に表示する映像上に、サブスクリーン（Sub Screen）として重畳させる映像を円形で表示する画面合成映像の例を示す。図７の１、２、３、・・・、１９、２０は、それぞれ各ライン（１ライン）を示している。図７に示すように、データイネーブル信号は、１ライン毎に一定の幅で“Ｈ”であり、一定の幅の映像をライン毎に出力するように生成される。それに対して、サブスクリーンに表示させる映像（重畳画像）の出力は、データセレクト信号により制御され、図７では“Ｈ”の時に出力される。そのため、サブスクリーンの映像は、４番目のラインから映像の幅が徐々に広がるように表示され上半円を形成し、同様に映像の幅が徐々に狭まるように表示され下半円を形成する。このように、重畳させる映像の形が形成される。

【0027】

以上のとおり、水平／垂直が一様のデータイネーブル信号ではなく、画面合成用にデータセレクト信号を外部から入力し、重畳させる映像の出力を制御して画面合成を行うことで、重畳させる映像の形をユーザが自由に決めることができる。

【0028】

本願の課題を解決するための手段には、以下の手段が含まれる。
＜１＞ 複数の映像を１つのパネルに表示するように画面合成を行う画面合成部を備え、
前記画面合成部が出力する画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた第１の映像を少なくとも１つ含む、映像処理装置。
＜２＞ 前記画面合成部による映像を重畳する画面合成において、重畳させる前記第１の映像の幅をライン毎に変動させるデータセレクト信号を生成して前記画面合成部に送信する信号生成部を更に備える、＜１＞に記載の映像処理装置。
＜３＞ 前記データセレクト信号の幅について、少なくとも１つのパターンデータを記憶する記憶部を更に備える、＜２＞に記載の映像処理装置。
＜４＞ 前記複数の映像を取得する映像取得部と、
前記画面合成映像を表示する映像表示部と、を更に備える、＜１＞～＜３＞のいずれか１つに記載の映像処理装置。
＜５＞ 複数の映像を１つのパネルに表示するように画面合成を行う画面合成工程を備え、
前記画面合成工程で生成された画面合成映像は、前記複数の映像のうち、映像の幅をライン毎に変動させた映像を少なくとも１つ含む、映像処理方法。
＜６＞ 前記複数の映像を取得する映像取得工程と、
前記画面合成映像を表示する映像表示工程と、を更に備える、＜５＞に記載の映像処理方法。
＜７＞ 複数の映像を１つのパネルに表示するために、映像を重畳する画面合成手段において、重畳させる映像の幅をライン毎に変動させるデータセレクト信号を含む信号群を出力する、画面合成手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】