(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025034497
(43)【公開日】2025-03-13
(54)【発明の名称】映像処理装置及び映像処理システム
(51)【国際特許分類】
H04N 5/272 20060101AFI20250306BHJP
G09G 5/00 20060101ALI20250306BHJP
G09G 5/02 20060101ALI20250306BHJP
G09G 5/14 20060101ALI20250306BHJP
G09G 5/377 20060101ALI20250306BHJP
G09G 5/38 20060101ALI20250306BHJP
【FI】
H04N5/272
G09G5/00 530M
G09G5/00 550X
G09G5/02 K
G09G5/14 A
G09G5/377 100
G09G5/38
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023140898
(22)【出願日】2023-08-31
(71)【出願人】
【識別番号】000116024
【氏名又は名称】ローム株式会社
(74)【代理人】
【識別番号】110001025
【氏名又は名称】弁理士法人レクスト国際特許事務所
(72)【発明者】
【氏名】本橋 拓哉
【テーマコード(参考)】
5C023
5C182
【Fターム(参考)】
5C023AA06
5C023AA11
5C023AA15
5C023AA37
5C023BA11
5C023CA03
5C023EA03
5C182AB26
5C182BA01
5C182BA14
5C182CA32
5C182CB04
5C182CB12
5C182CB44
5C182CB55
5C182CB56
(57)【要約】
【課題】使用者の要求に沿った形態で複数の映像を合成して単一の画面に表示することが可能な映像処理装置及び映像処理システムを提供することを目的とする。
【解決手段】本発明は、第1の映像信号に基づく第1の映像を画面内に配置すると共に、第1の映像信号とは異なる第2の映像信号に基づく第2の映像を画面内に配置するように画面内の指定領域に含まれる第1の映像を透過させて第1の映像と第2の映像とを合成した合成映像信号を生成する合成処理部と、指定領域を特定し且つ指定領域における第1の映像の透過態様を示す透過制御データを記憶するメモリと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1の映像信号に基づく第1の映像を画面内に配置すると共に、前記第1の映像信号とは異なる第2の映像信号に基づく第2の映像を前記画面内に配置するように前記画面内の指定領域に含まれる前記第1の映像を透過させて前記第1の映像と前記第2の映像とを合成した合成映像信号を生成する合成処理部と、
前記指定領域を特定し且つ前記指定領域における前記第1の映像の透過態様を示す透過制御データを記憶するメモリと、を含むことを特徴とする映像処理装置。
【請求項2】
前記合成処理部は、前記第2の映像を前記第1の映像の少なくとも一部に重畳するように配置し、前記画面内の指定領域は前記第1の映像と前記第2とが重畳した領域にあることを特徴とする請求項1に記載の映像処理装置。
【請求項3】
書換用の透過制御データ及びデータ変更指令を受けた場合に、前記書換用の透過制御データで前記メモリに記憶されている前記透過制御データを上書きするデータ変更制御部を含むことを特徴とする請求項2に記載の映像処理装置。
【請求項4】
前記透過制御データは、前記画面における各ドットに対応した複数のドットデータ片からなり、
前記指定領域に属する各ドットに対応した前記ドットデータ片の各々が100%の透過率を示し、前記指定領域以外の領域に属する各ドットに対応した前記ドットデータ片の各々が0%の透過率を示すことを特徴とする請求項1~3のいずれか1に記載の映像処理装置。
【請求項5】
前記透過制御データは、前記画面における各ドットに対応した複数のドットデータ片からなり、
前記画面における前記指定領域と前記指定領域以外の領域との境界に属する各ドットに対応した前記ドットデータ片の各々が50%の透過率を示し、前記指定領域に属する各ドットのうちで前記境界に属する各ドットを除くドットの各々に対応した前記ドットデータ片の各々が100%の透過率を示し、前記指定領域以外の領域に属する各ドットに対応した前記ドットデータ片の各々が0%の透過率を示すことを特徴とする請求項1~3のいずれか1に記載の映像処理装置。
【請求項6】
前記透過制御データは、前記画面における各ドットに対応した複数のドットデータ片からなり、
前記指定領域に属する各ドットに対応した前記ドットデータ片の各々は所定の指定色を表す映像データであり、前記指定領域以外の領域に属する各ドットに対応した前記ドットデータ片の各々は前記指定色以外の色を表す映像データであり、
前記合成処理部は、
前記透過制御データ中において前記指定色を表す領域に属する前記ドットデータ片を前記第2の映像信号に置き換えることで、前記第2の映像信号に前記指定色以外の色を表す領域を透過領域として付加した透過領域付加映像信号を生成する透過領域付加部と、
前記透過領域付加映像信号を受け、前記透過領域付加映像信号中の前記指定色を表す区間では前記第1の映像信号を選択させる一方、前記透過領域付加映像信号中の前記指定色以外の色を表す区間では前記透過領域付加映像信号を選択させる選択信号を生成する指定色透過制御部と、
前記選択信号に従って前記第1の映像信号及び前記透過領域付加映像信号のうちの一方を選択し、選択した方を前記合成映像信号として出力するセレクタと、を含むことを特徴とする請求項1~3のいずれか1に記載の映像処理装置。
【請求項7】
前記メモリは前記透過制御データの書き換えが可能な不揮発性メモリであることを特徴とする請求項1~3のいずれか1に記載の映像処理装置。
【請求項8】
前記合成処理部、及び前記メモリを着脱自在に接続するコネクタが設置されている基板を含むことを特徴とする請求項7に記載の映像処理装置。
【請求項9】
撮影した映像を表す第1の映像信号を出力する第1のカメラと、
撮影した映像を表す第2の映像信号を出力する第2のカメラと、
単一の画面を有する表示装置と、
前記第1の映像信号に基づく第1の映像を画面内に配置すると共に、前記第1の映像信号とは異なる第2の映像信号に基づく第2の映像を前記画面内に配置するように前記画面内の指定領域に含まれる前記第1の映像を透過させて前記第1の映像と前記第2の映像とを合成した合成映像信号を生成する合成処理部と、
前記指定領域を特定し且つ前記指定領域における前記第1の映像の透過態様を示す透過制御データを記憶するメモリと、
書換用の透過制御データ及びデータ変更指令を受けた場合に、前記書換用の透過制御データで前記メモリに記憶されている前記透過制御データを上書きするデータ変更制御部と、を含むことを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の映像信号を合成する映像処理装置、及びこの映像処理装置を含む映像処理システムに関する。
【背景技術】
【0002】
現在、車両の運転支援を行う電子機器として、車両の前方、後方及び側方等を複数のカメラで撮影し、各カメラで撮影された映像を合成したものを、ダッシュボードに設置されているディスプレイやバックミラーに表示する映像処理システムが製品化されている。
【0003】
このような映像処理システムとして、自車両の後方、右後方及び左後方を夫々別のカメラで撮影し、各撮影映像をシームレスで合成した広範囲の後方映像をバックミラーに表示するようにした表示制御装置が提案されている(特許文献1の
図26、
図27等を参照)。かかる表示制御装置では、合成映像中から運転操作にとって重要度が低い部分を検知し、その部分に対して「ぼかし処理」を施すことで、重要度が高い部分の視認性を高めている。
【0004】
また、上記したような映像処理システムとして、車両のフロントバンパーの左右のコーナー部に夫々設けた2つのカメラで車両前方の右側及び左側に夫々存在する死角領域を撮影し、一方を車載モニタの画面の右半面、他方を画面の左半面に表示するようにした死角画像表示装置が提案されている(例えば特許文献2参照)。かかる死角画像表示装置によれば、運転者は、当該車載モニタの画面を眺めることで、互いに異なる2か所(車両前方の右側及び左側)の死角領域の風景を確認することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】WO2019/111307号公報
【特許文献2】特開2003-127772号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、特許文献2に記載されている2つの撮影映像の各々は、自車両から同一時点で撮影されたものであるので、共に近似した絵柄、明るさ及び色調を有する場合がある。よって、特許文献2に記載の死角画像表示装置のように、互いに不連続な2つの撮影映像を1画面内において連結表示すると、各撮影映像同士の境界が曖昧になる。
【0007】
また、このような運転支援のための複数の撮影映像を1画面内で連結表示するにあたり、各撮影映像の表示サイズを変更できるようにすることが望まれている。
【0008】
そこで、本発明は、複数の映像を合成して単一の画面に表示するにあたり、使用者の要求に沿った形態で表示することが可能な映像処理装置及び映像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る映像処理装置は、第1の映像信号に基づく第1の映像を画面内に配置すると共に、前記第1の映像信号とは異なる第2の映像信号に基づく第2の映像を前記画面内に配置するように前記画面内の指定領域に含まれる前記第1の映像を透過させて前記第1の映像と前記第2の映像とを合成した合成映像信号を生成する合成処理部と、前記指定領域を特定し且つ前記指定領域における前記第1の映像の透過態様を示す透過制御データを記憶するメモリと、を含む。
【0010】
本発明に係る映像処理システムは、撮影した映像を表す第1の映像信号を出力する第1のカメラと、撮影した映像を表す第2の映像信号を出力する第2のカメラと、単一の画面を有する表示装置と、第1の映像信号に基づく第1の映像を画面内に配置すると共に、前記第1の映像信号とは異なる第2の映像信号に基づく第2の映像を前記画面内に配置するように前記画面内の指定領域に含まれる前記第1の映像を透過させて前記第1の映像と前記第2の映像とを合成した合成映像信号を生成する合成処理部と、前記指定領域を特定し且つ前記指定領域における前記第1の映像の透過態様を示す透過制御データを記憶するメモリと、書換用の透過制御データ及びデータ変更指令を受けた場合に、前記書換用の透過制御データで前記メモリに記憶されている前記透過制御データを上書きするデータ変更制御部と、を含む。
【発明の効果】
【0011】
本発明では、第1の映像信号に基づく第1の映像を画面に表示させると共にこの画面の指定領域に第2の映像信号に基づく第2の映像を配置して表示させるために、以下のように、第1及び第2の映像を合成した合成信号を生成する。すなわち、指定領域を特定し且つこの指定領域における第1の映像の透過態様を示す透過制御データをメモリに記憶しておき、このメモリから読み出した透過制御データに従って、画面内の指定領域に含まれる第1の映像を透過させて当該第1の映像と第2の映像とを合成した合成映像信号を生成する。
【0012】
かかる構成によれば、メモリに記憶されている透過制御データの内容を変更することで、上記した第1の映像が表示されている画面内の指定領域に表示する第2の映像のサイズや、第1及び第2の映像同士の境界の形状をユーザの要求に沿ったものに変更することが可能となる。
【図面の簡単な説明】
【0013】
【
図1】本発明に係る映像処理システムの第1の実施例としての映像処理システム100の構成を示すブロック図である。
【
図2】カメラ10a及び10b、表示装置30の車両内での設置位置の一例を示す図である。
【
図3A】表示装置30の画面の形態の一例を示す図である。
【
図3B】撮影映像信号Vaにて示される映像Faから切り取られる映像領域faの形態の一例を示す図である。
【
図3C】撮影映像信号Vbにて示される映像Fbから切り取られる映像領域fbの形態の一例を示す図である。
【
図4】透過制御データTDのデータフォーマットの一例を示す図である。
【
図5】合成処理部23による映像GA及びGBの合成の態様を表す図である。
【
図6】
図4に示す透過制御データTDに基づき表示装置30の画面に合成表示された映像GA及びGBの表示形態を示す図である。
【
図7】透過制御データTDのデータフォーマットの一例を示す図である。
【
図8】
図7に示す透過制御データTDに基づき表示装置30の画面に合成表示された映像GA及びGBの表示形態を示す図である。
【
図9A】表示装置30の画面に合成表示される映像GA及びGBの表示形態の他の一例を示す図である。
【
図9B】表示装置30の画面に合成表示される映像GA及びGBの表示形態の更に他の一例を示す図である。
【
図10】本発明に係る映像処理システムの第2の実施例としての映像処理システム100の構成を示すブロック図である。
【
図11A】透過制御データOSDの一例を表す図である。
【
図11B】映像GBを表す映像信号VTbに黒色を表す「00h」領域を透過領域として付加した映像信号VTdの一例を表す図である。
【
図11C】映像信号VTdにて表される映像GBと、映像信号VTaにて表される映像GAとを連結した表示映像を表す図である。
【
図12】映像処理装置20(20A)を実現した基板モジュールの構成の一例を示す図である。
【
図13】映像処理装置20(20A)を実現した基板モジュールの構成の他の一例を示す図である。
【
図14】
図13に示される基板モジュールの構成の変形例を示す図である。
【発明を実施するための形態】
【実施例0014】
図1は、本発明に係る映像処理システムの一例として、車両に搭載される映像処理システム100の構成を示すブロック図である。
【0015】
当該映像処理システム100は、カメラ10a及び10b、映像処理装置20、及び表示装置30を有する。
【0016】
カメラ10aは、例えば
図2に示すように車両の後部に設置されており、当該車両の後方を撮影した映像を表す撮影映像信号Vaを出力し、これを映像処理装置20に供給する。
【0017】
カメラ10bは、例えば
図2に示すように車両の左サイドミラーMsに設置されており、当該車両の左後方を撮影した映像を表す撮影映像信号Vbを出力し、これを映像処理装置20に供給する。
【0018】
操作デバイス11は、例えばスマートフォン等からなり、ユーザ操作によって生成された書換用の透過制御データ及び当該書換用の透過制御データへの変更を促すデータ変更指令を映像処理装置20に無線送信する。
【0019】
映像処理装置20は、トリミング部21a及び21b、メモリ22、合成処理部23、及びデータ変更制御部24を含む。
【0020】
トリミング部21aは、撮影映像信号Vaにて示される車両後方の映像中から、表示装置30の画面の縦横比及びドット数と等しい縦横比及びドット数からなる映像領域を切り取る。
【0021】
例えば、表示装置30の画面が
図3Aに示すように、
水平方向:W(Wは整数)ドット
垂直方向:Y(Yは整数)ドット
の解像度を有する場合、トリミング部21aは、
図3Bに示すように、撮影映像信号Vaにて示される映像Fa中から、水平方向:Wドット及び垂直方向:Yドットの映像領域faを切り取る。そして、トリミング部21aは、当該映像領域faでの映像GAを表す、撮影映像信号Va中の映像信号を映像信号VTaとして合成処理部23に供給する。
【0022】
トリミング部21bは、撮影映像信号Vbにて示される車両左後方の映像中から、水平方向のドット数が所定数であり且つ垂直方向のドット数が表示装置30の画面の垂直方向のドット数と等しい映像領域を切り取る。
【0023】
例えば、トリミング部21bは、
図3Cに示すように、撮影映像信号Vbにて示される映像Fb中から、水平方向:X(XはW以下の整数)ドット及び垂直方向:Yドットの映像領域fbを切り取る。そして、トリミング部21bは、当該映像領域fbでの映像GBを表す、撮影映像信号Vb中の映像信号を映像信号VTbとして合成処理部23に供給する。
【0024】
メモリ22は、フラッシュメモリ等の不揮発性の半導体メモリであり、映像信号VTaと映像信号VTbとを透過合成する際に用いる透過制御データTDが記憶されている。
【0025】
図4は、透過制御データTDのフォーマットの一例を示す図である。
【0026】
透過制御データTDは、
図3Aに示す表示装置30の画面(第1行~第Y行×第1列~第W列)の各ドット毎にそのドットでの透過率を表す(W×Y)個のドットデータ片から構成される。各ドットデータ片は、映像信号VTa及びVTbを透過合成する際の映像信号VTaの透過率を表すものであり、
図4に示す一例では、その透過率を4ビット(16進表示)で表している。例えば、ドットデータ片が「F」を示す場合には透過率100%、「8」を示す場合には透過率50%、「0」を示す場合には透過率0%を表す。尚、工場出荷時には、メーカ推奨の透過制御データとして、例えば
図4に示すような内容を有する初期状態の透過制御データTDが記憶されている。
【0027】
メモリ22は、電源投入に応じて上記した透過制御データTDを読み出し、これを合成処理部23に供給する。
【0028】
データ変更制御部24は、操作デバイス11から無線送信された書換用の透過制御データ及びデータ変更指令を受信すると、受信した書換用の透過制御データでメモリ22に記憶されている透過制御データの内容を上書きする書込アクセスをメモリ22に施すことで、透過制御データの更新を行う。
【0029】
合成処理部23は、透過制御データTDに基づく透過率で映像信号VTaを透過させた形態で、当該映像信号VTaと映像信号VTbとを合成したものを合成映像信号VMXとして生成する。
【0030】
例えば、透過制御データTDにて示されるドットデータ片が「F」を表す領域では、映像信号VTaの透過率が100%となるので、合成処理部23は、映像信号VTbをそのまま合成映像信号VMXとする。また、ドットデータ片が「8」を表す領域では映像信号VTaの透過率が50%となるので、合成処理部23は、映像信号VTaの透過率を50%とした形態で映像信号VTaを映像信号VTbに合成したものを合成映像信号VMXとする。また、ドットデータ片が「0」を表す領域では、映像信号VTaの透過率が0%、つまり非透過となるので、合成処理部23は、映像信号VTaをそのまま合成映像信号VMXとする。
【0031】
表示装置30は、例えば
図2に示すように車両の室内に取り付けられている電子ルームミラーであり、当該電子ルームミラーと同様な
図3Aに示す如き横長形状の2次元画面を有する。表示装置30は、合成映像信号VMXに基づき、カメラ10aで撮影した車両後方の映像GAを
図6に示すように自身の画面に表示し、当該画面内の左端に指定した指定領域にカメラ10bで撮影した車両左後方の映像GBを表示する。
【0032】
ところで、映像処理装置20では、透過制御データTDの内容により、表示装置30の画面内に表示する映像GBのサイズ、並びに、映像GA及びGB同士の境界の形状を設定できるようにしている。
【0033】
例えば
図4に示す透過制御データTDでは、表示装置30の画面内において映像GAが表示される第1行~第Y行×第(X+1)列~第W列の領域内の各ドットデータ片は、透過率0%を表す「0」である。また、
図4に示す透過制御データTDでは、映像GBを合成する領域(一点破線に囲まれた領域)内の各ドットデータ片は、透過率100%を表す「F」、又は透過率0%を表す「0」である。つまり、
図4において一点破線に囲まれた矩形状の領域内における、右下の角部を凹弧状線で囲む領域に含まれる各ドットデータ片は「0」を示し、それ以外の領域に含まれる全てのドットデータ片は「F」を示す。
【0034】
図4に示す透過制御データTDでは、透過率100を表す「F」を示すドットデータ片により、表示装置30の画面内において映像GBを表示させる領域(指定領域)を指定する。つまり、
図5に示すように、映像GBが[第1行~第Y行]×[第1行~第X列]内に合成され、
図6に示すように、映像GBは透過率100を表す「F」を有するドットデータ片群に対応した指定領域に表示される。この際、映像GA及びGB同士の境界brは、画面の上端から中央付近までは直線状、当該中央付近から下端の区間ではアール状になる。
【0035】
尚、透過制御データTDの内容によっては、表示装置30に表示される映像GA及びGB同士の境界を幅のある帯状の形態にすることも可能である。
【0036】
図7は、かかる点に鑑みて為された透過制御データTDのフォーマットの他の一例を示す図である。
【0037】
図7に示す透過制御データTDでは、映像GBが合成される領域(一点破線に囲まれた領域)内において、透過率0%を表す「0」を示すドットデータ片の各々に隣接する複数列分のドットデータ片の値が透過率50%を表す「8」であり、その他のドットデータ片の値は
図4に示す透過制御データTDと同一である。
【0038】
よって、
図7に示す透過制御データTDによれば、透過率50%を表す「8」を示すドットデータ片が水平方向に隣接する数に対応した幅を有する帯状の境界bbrが、
図8に示すように映像GA及びGB同士の境界として表示装置30の画面に表示される。
【0039】
このように、透過制御データTDの内容により、映像GA及びGB同士の境界brが例えば
図9Aに示すような直線状とする表示や、或いは
図9Bに示すように、映像GBの表示サイズを
図6に示す第1行~第Y行×第1列~第X行の領域よりも狭い第1行~第Y行×第1列~第(X-3)行に変更することが可能となる。
【0040】
つまり、工場出荷後の初期状態では、例えば
図4に示す透過制御データTDに基づき
図6に示すような形態で表示装置30の画面に映像GA及びGBが表示されている。その後、操作デバイス11を用いたユーザによる透過制御データTDの変更操作により、
図8、
図9A又は
図9B等に示すように、表示装置30の画面に表示される映像GBの水平方向のサイズや、映像GA及びGB同士の境界の形状をユーザが所望とする形態に変更することができる。
メモリ22Aは、フラッシュメモリ等の不揮発性の半導体メモリであり、映像信号VTaと映像信号VTbとを透過合成する際に用いる透過制御データが記憶されている。
尚、透過制御データOSDは、表示装置30の画面内における、映像信号VTaに基づく映像GAを表示させる領域に属する各ドットデータ片を所定の指定色を表す映像データとし、映像信号VTbに基づく映像GBを表示させる領域に属する各ドットデータ片を上記した指定色以外の色で表す映像データとしたものである。
セレクタ232は、当該選択信号SCに応じて、映像信号VTdにおける各ドットデータ片が黒色を表していない場合には、映像GBを表す映像信号VTdを選択する一方、黒色を表している場合には、映像GAを表す映像信号VTaを選択する。そして、セレクタ232は、映像信号VTa及びVTdのうちで選択した方を合成映像信号VMXとして表示装置30に供給する。