特許第6857104号(P6857104)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6857104映像処理装置、映像処理方法および映像処理プログラム
<>
  • 特許6857104-映像処理装置、映像処理方法および映像処理プログラム 図000002
  • 特許6857104-映像処理装置、映像処理方法および映像処理プログラム 図000003
  • 特許6857104-映像処理装置、映像処理方法および映像処理プログラム 図000004
  • 特許6857104-映像処理装置、映像処理方法および映像処理プログラム 図000005
  • 特許6857104-映像処理装置、映像処理方法および映像処理プログラム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6857104
(24)【登録日】2021年3月23日
(45)【発行日】2021年4月14日
(54)【発明の名称】映像処理装置、映像処理方法および映像処理プログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20210405BHJP
   G09G 5/36 20060101ALI20210405BHJP
   G09G 5/377 20060101ALI20210405BHJP
   H04N 21/234 20110101ALI20210405BHJP
   G06T 3/00 20060101ALI20210405BHJP
【FI】
   H04N5/232 380
   G09G5/36 520P
   G09G5/36 520L
   H04N21/234
   G06T3/00 780
【請求項の数】5
【全頁数】12
(21)【出願番号】特願2017-158494(P2017-158494)
(22)【出願日】2017年8月21日
(65)【公開番号】特開2019-36902(P2019-36902A)
(43)【公開日】2019年3月7日
【審査請求日】2019年9月4日
【前置審査】
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100127535
【弁理士】
【氏名又は名称】豊田 義元
(74)【代理人】
【識別番号】100189898
【弁理士】
【氏名又は名称】永田 健悟
(72)【発明者】
【氏名】菊地 由実
(72)【発明者】
【氏名】外村 喜秀
(72)【発明者】
【氏名】山口 徹也
(72)【発明者】
【氏名】千石 大樹
(72)【発明者】
【氏名】佐藤 孝子
(72)【発明者】
【氏名】兼清 知之
【審査官】 大西 宏
(56)【参考文献】
【文献】 特開2011−049735(JP,A)
【文献】 特開2012−045232(JP,A)
【文献】 特開2007−329555(JP,A)
【文献】 特開2012−100360(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
G09G 5/00 − 5/40
H04N 7/10
H04N 7/14 − 7/173
H04N 7/20 − 7/56
H04N 21/00 −21/858
G06T 1/00 − 1/40
G06T 3/00 − 5/50
G06T 9/00 − 9/40
(57)【特許請求の範囲】
【請求項1】
撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
前記同時に撮影された複数のフレームデータについて、互いに隣接するフレームデータの全ての画素の輝度の平均値が、所定の閾値よりも高いか否かを判定する判定手段と、
前記輝度の平均値が所定の閾値よりも高い場合、前記同時に撮影された複数のフレームデータについて、前記互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、
前記輝度の平均値が所定の閾値よりも高い場合、前記シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力し、
前記輝度の平均値が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段
を備えることを特徴とする映像処理装置。
【請求項2】
前記所定のつなぎ目は、直近に算出されたつなぎ目であることを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記所定のつなぎ目は、デフォルトのつなぎ目であることを特徴とする請求項1に記載の映像処理装置。
【請求項4】
撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、
コンピュータが、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
前記コンピュータが、前記同時に撮影された複数のフレームデータについて、互いに隣接するフレームデータの全ての画素の輝度の平均値が、所定の閾値よりも高いか否かを判定するステップと、
前記輝度の平均値が所定の閾値よりも高い場合、記コンピュータが、前記同時に撮影された複数のフレームデータについて、前前記互いに隣接するフレームデータとのつなぎ目を算出し、算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップと、
前記輝度の平均値が所定の閾値よりも低い場合、前記コンピュータが、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップ
を備えることを特徴とする映像処理方法。
【請求項5】
コンピュータに、請求項1ないし請求項3のいずれか1項に記載の映像処理装置として機能させるための映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置、映像処理方法および映像処理プログラムに関する。
【背景技術】
【0002】
近年、複数のカメラで撮影した映像データをつなぎ合わせて、一つのパノラマ映像や全天球型の映像として再構成する画像処理が普及している。このような技術において、大きいスクリーンで迫力のある映像を出力することが可能になるため、映像の品質の向上が求められる(例えば非特許文献1参照)。非特許文献1は、画像のパノラマ合成の技術に関して、被写体を多層平面で表現する信頼度マッピング法と2次元画像処理を施して、映像の美しさは向上することを開示する。
【0003】
しかしながら、映像品質の向上に伴い、画像処理における計算コストが負担となり、計算コストの削減が期待されている。非特許文献1に記載の技術では、計算機負荷が非常に高くなり処理速度が低下してしまう場合がある。
【0004】
具体的には、複数の4K映像(3840×2160p、60fps)を処理する場合、1映像につき1秒間に処理しなければならないデータ量は、6Gbitsに及ぶ。複数のカメラで撮影した映像を繋ぎ合せてライブ配信したいと考えた場合、その画像処理システムには大きな負荷がかかり、ライブ配信が実現できないような処理時間がかかってしまう場合が考えられる。
【0005】
そこで、ライブ配信可能な実用性を担保するために、繋ぎ目の自然さとともに高速処理(ライブ配信用の実時間処理)を実現する技術が開示されている(非特許文献2参照)。非特許文献1においては、各映像データのフレームデータを縮小して、つなぎ目を算出する技術を開示する。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】磯貝 愛、國田 豊、木全 英明、“画像領域に適応したパノラマ映像生成技術の提案”、IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24
【非特許文献2】菊地 由実、小野 朗、“4K×N パノラマコンテンツのリアルタイム生成および評価”、信学技報, vol. 116, no. 73, MVE2016-2, pp. 23-28, 2016年6月
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献2に記載されるように高速処理を実行している場合でも、映像処理装置の処理能力や、入力される映像データ量などによっては、リアルタイムに映像データを処理することが難しくなる場合が考えられる。従って、複数の映像データを連結して出力する処理において、さらに高速化が求められる場合がある。
【0008】
そこで本発明は、複数の映像データを連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明の第1の特徴は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置に関する。第1の特徴に係る映像処理装置は、複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定する判定手段と、輝度が所定の閾値よりも高い場合、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、輝度が所定の閾値よりも高い場合、シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力し、輝度が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段を備える。
【0010】
処理領域は、互いに隣接するフレームデータの各画素であっても良い。
【0011】
処理領域は、互いに隣接するフレームデータのそれぞれにおいて、互いに隣接するフレームデータが重複する重複領域の画素であっても良い。
【0012】
処理領域は、互いに隣接するフレームデータの一方のフレームデータのうち、互いに隣接するフレームデータが重複する重複領域の画素であっても良い。
【0013】
所定のつなぎ目は、直近に算出されたつなぎ目であっても良い。
【0014】
所定のつなぎ目は、デフォルトのつなぎ目であっても良い。
【0015】
本発明の第2の特徴は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法に関する。本発明の第2の特徴に係る映像処理方法は、コンピュータが、複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、コンピュータが、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定するステップと、輝度が所定の閾値よりも高い場合、コンピュータが、互いに隣接するフレームデータとのつなぎ目を算出し、算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップと、輝度が所定の閾値よりも低い場合、コンピュータが、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップを備える。
【0016】
本発明の第3の特徴は、コンピュータに、本発明の第1の特徴に記載の映像処理装置として機能させるための映像処理プログラムに関する。
【発明の効果】
【0017】
本発明によれば、複数の映像データを連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することができる。
【図面の簡単な説明】
【0018】
図1】本発明の実施の形態に係る映像処理装置のハードウエア構成および機能ブロックを説明する図である。
図2】本発明の実施の形態に係る映像処理装置に入力されるフレームデータを説明する図である。
図3】本発明の実施の形態に係る映像処理装置に入力されるフレームデータの重複領域を説明する図である。
図4】本発明の実施の形態に係る映像処理装置がフレームデータをつなぎ目で連結した連結フレームデータを説明する図である。
図5】本発明の実施の形態に係る処理を説明するフローチャートである。
【発明を実施するための形態】
【0019】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【0020】
(概要)
図1に示す本発明の実施の形態に係る映像処理装置1は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ。映像処理装置1は、各映像データから同時に撮影されたフレームデータにおいて、適切なつなぎ目(シーム)を探索して、探索されたつなぎ目で各フレームデータを繋いで、映像データを再構成する。
【0021】
本発明の実施の形態において、映像処理装置1に入力される複数の映像データは、横方向に撮影領域を重ねて撮影された複数の映像データである場合を説明するが、これに限らない。複数の映像データは、縦方向に撮影領域を重ねて撮影されても良いし、縦方向および横方向に撮影領域を重ねて撮影されても良い。なお、各映像データおよび各映像データを出力するカメラは、厳密な意味で、縦方向または横方向(垂直方向または水平方向)に隣接していなくとも良い。
【0022】
図1に示す映像処理装置1は、複数のカメラC1およびC2から入力される複数の映像データを連結して、一つの映像データを出力する。本発明の実施の形態においては、複数のカメラC1およびC2が、横2列に配列される場合を説明するが、これに限るものではない。映像処理装置1に入力される映像データを撮影するカメラは、例えば、縦2行および横3列に配列される6個のカメラ、縦方向または横方向に配列される3個のカメラなど、任意のカメラの数および配列に適用することができる。
【0023】
図2ないし図4を参照して、本発明の実施の形態に係る映像処理装置1が、映像データをつなぐ処理の概要を説明する。
【0024】
映像処理装置1は、複数の映像データから、同時に撮影されたフレームデータを取得する。例えば図2に示すように、同時に撮影された第1のフレームデータF1および第2のフレームデータF2を考える。第1のフレームデータF1の撮影領域の右側と、第2のフレームデータF2の撮影領域の左側は、重複する。
【0025】
第1のフレームデータF1の撮影領域の右側で撮影された特徴点と、第2のフレームデータF2の撮影領域の左側で撮影された特徴点とが一致するように、第1のフレームデータF1と第2のフレームデータF2とを重ねる。
【0026】
この結果、図3に記載するように、左右方向の中心近傍に重複領域Rが形成される重複フレームデータF0が得られる。なお図2に示す各フレームデータは、重複フレームデータF0が矩形になるように模式的に示しているが、各カメラの角度が異なるなどの場合、一部のフレームデータが斜めに配設される場合もある。
【0027】
映像処理装置1は、重複フレームデータF0のうちの重複領域Rにおいて、各フレームデータのつなぎ目SEMを決定する。映像処理装置1は、各フレームデータのつなぎ目SEMを決定すると、図4に示すように、各フレームデータを決定したつなぎ目で切り離して連結し、連結フレームデータ15を生成する。映像処理装置1は、第1のフレームデータF1および第2のフレームデータF2をそれぞれつなぎ目SEMで切断して、第1のフレームデータf1および第2のフレームデータf2を生成する。映像処理装置1は、第1のフレームデータf1および第2のフレームデータf2をつなぎ合わせて、連結フレームデータ15を生成する。
【0028】
ここで本発明の実施の形態に係る映像処理装置1は、同時に撮影された各フレームデータについて逐次つなぎ目を算出することなく、フレームデータの輝度に応じて、つなぎ目を算出するか否かを決定することで、画像データの高精細化と処理の高速化を両立する。つなぎ目の動きに起因して画面のちらつきが発生する場合があるが、フレームデータの輝度が高く明るい画像データの場合、人間はそのちらつきに気付きやすく、輝度が低く暗い画像データの場合、人間はそのちらつきに気付きにくい傾向がある。そこで本発明の実施の形態に係る映像処理装置1は、フレームデータの輝度が高い場合、処理リソースを使ってフレームデータについてつなぎ目を算出して、動的につなぎ目を変更することで高品質な連結フレームデータ15を出力する。一方、フレームデータの輝度が低い場合、所定のつなぎ目を用いて、動的につなぎ目を変更しないことで、処理リソースを抑制して、遅延なく連結フレームデータ15を出力することを可能にする。
【0029】
(映像処理装置)
図1に示す映像処理装置1は、記憶装置10、処理装置20および入出力インタフェース30を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図1に示す機能を実現する。
【0030】
記憶装置10は、ROM(Read Only Memory)、RAM(Random access memory)、ハードディスク等であって、処理装置20が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置20は、CPU(Central Processing Unit)であって、記憶装置10に記憶されたデータを読み書きしたり、入出力インタフェース30とデータを入出力したりして、映像処理装置1における処理を実行する。
【0031】
入出力インタフェース30は、キーボード、マウスなどの入力装置I、および複数のカメラC1およびC2からの入力を受け付け、入力されたデータを処理装置20に入力する。入出力インタフェース30は、さらに、処理装置20による処理結果をディスプレイなどの出力装置Oに出力する。入力装置I、複数のカメラC1、C2、および出力装置Oは、通信インタフェースおよび通信ネットワークを介して、映像処理装置1に接続されても良い。また複数のカメラC1およびC2に代わって、予め撮影された複数の撮影データを記憶した録画機や記憶装置を、映像処理装置1に接続して、映像処理データを処理させても良い。
【0032】
記憶装置10は、映像処理プログラムを記憶するとともに、設定データ11、フレーム情報データ12、算出シームデータ13、デフォルトシームデータ14、および連結フレームデータ15を記憶する。
【0033】
設定データ11は、本発明の実施の形態に係る映像処理装置1が処理するために必要なパラメータを記憶する。設定データ11は、例えば、映像処理装置1に入力される映像データの数およびその配列、処理リソースと画質向上のいずれを優先させるかなどの各パラメータを含む。本発明の実施の形態においては、つなぎ目を算出するか否かを判定するための輝度の閾値が設定される。輝度の閾値は、ユーザが手動で設定しても良いし、他システムで算出された閾値が設定されても良い。
【0034】
フレーム情報データ12は、複数のカメラC1およびC2から取得される映像データの各フレームデータの情報を保持する。フレーム情報データ12は、カメラの識別子に、フレーム番号、画素値、フレームレート、輝度値などの情報を対応づけたデータである。
【0035】
算出シームデータ13は、後述のシーム算出手段24が算出した各フレームデータのつなぎ目を算出した結果である。算出シームデータ13は、算出されたつなぎ目の位置(座標)を特定可能な情報である。算出シームデータ13は、少なくとも直近に算出されたつなぎ目が設定されていればよく、逐次つなぎ目を蓄積したログデータであっても良い。算出シームデータ13は、シーム算出手段24によって逐次更新される。
【0036】
デフォルトシームデータ14は、予め設定された各フレームデータのつなぎ目の位置を特定可能な情報である。
【0037】
連結フレームデータ15は、複数のカメラC1およびC2が出力する複数の映像データのそれぞれから、同時に撮影された複数のフレームデータを、算出シームデータ13またはデフォルトシームデータ14に従ってつないで生成される。連結フレームデータ15は、映像処理装置1が出力する映像データを構成する一つのフレームデータとなる。
【0038】
処理装置20は、設定取得手段21、フレーム取得手段22、判定手段23、シーム算出手段24および連結フレーム出力手段25を備える。
【0039】
(設定取得手段)
設定取得手段21は、本発明の実施の形態に係る映像処理装置1が処理するために必要なパラメータを取得して、取得したパラメータを含む設定データ11を記憶する。設定取得手段21は、ユーザが、入力装置Iから入力した情報に従ってパラメータを取得する。或いは設定取得手段21は、複数のカメラC1およびC2から入力された各映像データ等を解析することによって、映像処理装置1が処理するために必要なパラメータを取得する。
【0040】
(フレーム取得手段)
フレーム取得手段22は、複数のカメラC1およびC2から入力された各映像データから、同時に撮影された複数のフレームデータを取得する。フレーム取得手段22は、取得した複数の各フレームデータについて、フレーム情報データ12を生成して記憶する。フレーム取得手段22は、同時に撮影された各フレームデータについて、輝度を算出しても良い。
【0041】
(判定手段)
判定手段23は、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定する。判定手段23は、設定データ11から輝度の閾値を取得し、フレームデータの処理領域における輝度と、取得した輝度の閾値とを比較する。フレームデータの処理領域は、いくつか考えられる。
【0042】
フレームデータの処理領域は、互いに隣接するフレームデータの各画素である。図2ないし図4で示す例の場合、判定手段23は、第1のフレームデータF1の全ての画素と、第2のフレームデータF2の全ての画素について、各画素の輝度(平均値)と、所定の閾値とを比較する。人間が画面のちらつきに気付きやすいか否かは、画面全体の明るさによるので、各フレームデータの各画素の輝度に基づいて判定することにより、適切に判定することが可能になる。
【0043】
フレームデータの処理領域は、互いに隣接するフレームデータのそれぞれにおいて、互いに隣接するフレームデータが重複する重複領域の画素である。図2ないし図4で示す例の場合、判定手段23は、第1のフレームデータF1のうちの重複領域Rの画素と、第2のフレームデータF2のうちの重複領域Rの画素について、各画素の輝度(平均値)と、所定の閾値とを比較する。各フレームデータのつなぎ目が配設される可能性のある重複領域の画素の輝度に限定して判定することにより、処理リソースを抑制しつつ、高精度に判定することが可能になる。
【0044】
フレームデータの処理領域は、互いに隣接するフレームデータの一方のフレームデータのうち、互いに隣接するフレームデータが重複する重複領域の画素である。図2ないし図4で示す例の場合、判定手段23は、第1のフレームデータF1のうちの重複領域Rの画素の輝度(平均値)と、所定の閾値とを比較する。或いは判定手段23は、第2のフレームデータF2のうちの重複領域Rの画素の輝度(平均値)と、所定の閾値とを比較する。つなぎ目が配設される可能性のある重複領域Rについて、互いに隣り合うフレームデータのうちの一方のフレームデータの画素の輝度に限定して判定することにより、さらに処理リソースを抑制して、効率的に判定することが可能になる。
【0045】
判定手段23は、処理領域の輝度が所定の閾値よりも高く明るい場合、後述のシーム算出手段24につなぎ目を算出させ、連結フレーム出力手段25に、シーム算出手段24が算出したつなぎ目に従って、各フレームデータを連結させる。
【0046】
判定手段23は、処理領域の輝度が所定の閾値よりも低く暗い場合、連結フレーム出力手段25に、シーム算出手段24につなぎ目を算出させることなく、連結フレーム出力手段25に、既に保持するつなぎ目に従って、各フレームデータを連結させる。このとき用いられるつなぎ目は、デフォルトシームデータ14で特定される。或いは、シーム算出手段24が直近に算出されたつなぎ目などの、算出シームデータ13が保持するつなぎ目であっても良い。
【0047】
判定手段23は、連結フレームデータ15を生成する度に、換言すると、時系列に逐次入力される各フレームデータについて輝度を判定しても良い。或いは、判定手段は、所定の頻度(周期)で、換言すると時系列に逐次入力される各フレームデータのうちの所定のタイミングのフレームデータについて、輝度を判定しても良い。例えば、1秒間に60枚の連結フレームデータ15を生成するシステムにおいて、1秒間に20回判定するなど、フレームデータを間引いて処理することにより、映像処理装置1の負荷を軽減することができる。この場合判定手段23は、直近の2セットのフレームデータの両方について判定していない場合、次のフレームデータについてつなぎ目を算出するか否かを判定し、直近の2セットのフレームデータのいずれかについて判定した場合、次のフレームデータについて判定しない。
【0048】
判定手段23が判定しなかったフレームデータについては、直近で判定した結果に基づいて処理される。例えば、カメラC1およびC2から入力された各映像データのうち、判定手段23が1番目、4番目、7番目・・・と3つに1つの割合で、判定する場合を考える。判定手段23が1番目のフレームデータについて判定手段23が判定した後、2番目および3番目のフレームデータについては、判定手段23は、1番目のフレームデータと同様に処理するように制御される。1番目のフレームデータについて、シーム算出手段24につなぎ目を算出させた場合、判定手段23は、2番目および3番目のフレームデータについても、シーム算出手段24につなぎ目を算出させる。1番目のフレームデータについて、デフォルトシームデータ14を使って連結フレームデータ15を生成させる場合、判定手段23は、2番目および3番目のフレームデータについても、デフォルトシームデータ14または算出シームデータ13を使って連結フレームデータ15を生成させる。
【0049】
判定手段23が所定の周期で判定する場合を説明したが、本来ならば判定するタイミングであっても判定しない場合があっても良い。例えば、重複領域にオブジェクトのエッジが設けられる場合、このエッジにつなぎ目を設けることで、高精度な連結フレームデータ15を出力することができる。また、シーンが切り替わった場合や、野外のスポーツコンテンツで急に天候が変更した場合なども、つなぎ目を算出することが好ましい。従って、このように、フレームデータの輝度以外の条件により、つなぎ目を算出することが決まっている場合、或いは、つなぎ目を算出しないことが決まっている場合、判定手段23は、判定をしなくても良い。
【0050】
(シーム算出手段)
シーム算出手段24は、輝度が所定の閾値よりも高い場合、互いに隣接するフレームデータとのつなぎ目を算出する。シーム算出手段24は、判定手段23によってつなぎ目を算出するように指示された場合、同時に撮影された複数のフレームデータについて、つなぎ目を算出する。
【0051】
シーム算出手段24が、つなぎ目を算出する手法は、本発明の実施の形態においては問わないが、例えば非特許文献2で提案されたように、縮小フレームデータを用いて、各フレームデータのつなぎ目を算出する。
【0052】
(連結フレーム出力手段)
連結フレーム出力手段25は、判定手段23の判定により、輝度が所定の閾値よりも高い場合、シーム算出手段24が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ15を出力する。また連結フレーム出力手段25は、判定手段23の判定により、輝度が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ15を出力する。この所定のつなぎ目は、デフォルトシームデータ14が保持するデフォルトのつなぎ目であっても良いし、算出シームデータ13が保持する、直近で算出されたつなぎ目であっても良い。連結フレームデータ15は、映像処理装置1が出力する映像データの1フレームデータとなる。
【0053】
(映像処理方法)
図5を参照して、本発明の実施の形態に係る映像処理方法を説明する。図5は、同時に撮影された複数のフレームデータの処理を示し、同時に撮影された複数のフレームデータが発生する度に、映像処理装置1は、図5の処理を繰り返す。
【0054】
まずステップS1において映像処理装置1のフレーム取得手段22は、異なるカメラで同時に撮影され、互いに隣接するフレームデータを取得する。
【0055】
ステップS2において、ステップS1で取得したフレームデータについて、判定手段23が判定するタイミングであるか否かを判定する。例えば、1秒間に60フレームの映像データについて、20回判定する仕様の場合、直近の2フレームデータについて判定手段23が判定処理を行っていない場合、今回のフレームデータについて判定手段23に判定させる。
【0056】
ステップS3において映像処理装置1は、ステップS1で取得したフレームデータの処理領域の輝度を算出する。処理領域は、互いに隣接する各フレームデータの画素であっても良いし、各フレームデータの重複領域Rの画素であっても良いし、各フレームデータのうちの一方のフレームデータの重複領域の画素であっても良い。
【0057】
ステップS4において、映像処理装置1の判定手段23は、ステップS3で算出した処理領域の輝度と、所定の閾値とを比較する。処理領域の輝度が閾値よりも高く明るいと判定した場合、ステップS5に進む。ステップS5において、シーム算出手段24は、ステップS1で取得した各フレームデータのつなぎ目を算出して、算出シームデータ13を生成する。ステップS6において連結フレーム出力手段25は、ステップS5で生成された算出シームデータ13を用いて、ステップS1で取得した各フレームデータをつなぐ。
【0058】
ステップS4において、処理領域の輝度が閾値よりも低く暗いと判定した場合、ステップS7に進む。ステップS7において連結フレーム出力手段25は、所定のつなぎ目を用いて、ステップS1で取得した各フレームデータをつなぐ。この所定のつなぎ目は、デフォルトシームデータ14として予め保持するつなぎ目であっても良いし、算出シームデータ13において過去に算出したつなぎ目で合っても良い。
【0059】
ステップS2において、判定手段23が判定するタイミングでない場合、より具体的には、直近の2フレームデータのいずれかについて判定手段23が判定処理を行っている場合、判定手段23による判定は行わず、直前の判定結果に基づいて処理される。判定手段23が直近でシーム算出手段24につなぎ目を算出すると判断した場合、ステップS5に進み、ステップS1で取得したフレームデータについても、シーム算出手段24は、つなぎ目を算出する。一方判定手段23が直近でシーム算出手段24につなぎ目を算出しないと判断した場合、ステップS7に進み、ステップS1で取得したフレームデータについても、デフォルトシームデータ14等の所定のつなぎ目を用いて、ステップS1で取得した各フレームデータをつなぐ。
【0060】
ステップS8において連結フレーム出力手段25は、ステップS6またはステップS7で生成した連結フレームデータ15を出力する。
【0061】
以上説明したように、本発明の実施の形態に係る映像処理装置1は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ処理において、映像データのうち、所定の閾値よりも明るいフレームデータについてつなぎ目を動的に算出する。これにより、高精細な映像データを出力するとともに、つなぎ目の算出に関する処理工数を低減することができるので、映像処理装置1は、複数の映像データを連結する処理の高速化を実現することができる。
【0062】
(その他の実施の形態)
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
【0063】
例えば、本発明の実施の形態に記載した映像処理装置は、図1に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の映像処理システム上に実現されても良い。
【0064】
また本発明の実施の形態に係る映像処理方法は、非特許文献2で提案されたように、縮小フレームデータを用いて、各フレームデータのつなぎ目を算出して、連結フレームデータを出力しても良い。これにより、処理の高速化が期待できる。
【0065】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【0066】
1 映像処理装置
10 記憶装置
11 設定データ
12 フレーム情報データ
13 算出シームデータ
14 デフォルトシームデータ
15 連結フレームデータ
20 処理装置
21 設定取得手段
22 フレーム取得手段
23 判定手段
24 シーム算出手段
25 連結フレーム出力手段
30 入出力インタフェース
C1、C2 カメラ
I 入力装置
O 出力装置
図1
図2
図3
図4
図5