特許 6138949 差分カメラを利用した映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6138949

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】差分カメラを利用した映像処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170522BHJP

   H04N 5/225 20060101ALI20170522BHJP

   H04N 7/18 20060101ALI20170522BHJP

   G01B 11/00 20060101ALI20170522BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 F

   H04N7/18 K

   G01B11/00 H

【請求項の数】11

【全頁数】12

(21)【出願番号】特願2015-535576(P2015-535576)

(86)(22)【出願日】2013年10月19日

(65)【公表番号】特表2015-537417(P2015-537417A)

(43)【公表日】2015年12月24日

(86)【国際出願番号】KR2013009365

(87)【国際公開番号】WO2014065544

(87)【国際公開日】20140501

【審査請求日】2015年4月7日

(31)【優先権主張番号】10-2012-0117563

(32)【優先日】2012年10月22日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2012-0148983

(32)【優先日】2012年12月18日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】514164982

【氏名又は名称】イ， ムン キ

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(74)【代理人】

【識別番号】100148596

【弁理士】

【氏名又は名称】山口 和弘

(72)【発明者】

【氏名】イ， ムン キ

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開平０７−１２１２９３（ＪＰ，Ａ）

【文献】 特開２００１−３２５０６９（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１１５７６４（ＷＯ，Ａ１）

【文献】 特開２００４−００７２４６（ＪＰ，Ａ）

【文献】 特開２００１−２４９００８（ＪＰ，Ａ）

【文献】 特開平０８−２４９４７１（ＪＰ，Ａ）

【文献】 特表２０１０−５３９５５７（ＪＰ，Ａ）

【文献】 特開２０１２−１９５８８７（ＪＰ，Ａ）

【文献】 特開２００１−２７３０９２（ＪＰ，Ａ）

【文献】 特開２０１０−２８２６６１（ＪＰ，Ａ）

【文献】 特開平１１−１３６７０６（ＪＰ，Ａ）

【文献】 特開平０６−１１８９２７（ＪＰ，Ａ）

【文献】 特開２００８−０１５５６０（ＪＰ，Ａ）

【文献】 特表２０１３−５２２７６６（ＪＰ，Ａ）

【文献】 特開２００５−１３６５１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０１Ｂ １１／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

映像処理装置において、
第１映像と第２映像とを交互に出力するディスプレイと、
前記２映像を撮影するカメラと、
前記カメラで撮影した第１映像と第２映像との差分映像において、ピクセル値が０ではない領域のうち、事物の境界線領域を除いた領域でマークを検出する映像処理手段と
を含み、
前記第１映像は、マークを含む映像であり、
前記映像処理手段は、以前瞬間に撮影した第１映像と、現在撮影した第１映像との差分映像、または以前瞬間に撮影した第２映像と、現在撮影した第２映像との差分映像から、前記事物の境界線領域を判断することを特徴とする、差分カメラを利用した映像処理装置。

【請求項2】

前記第１映像は、マーク映像であり、
前記第２映像は、普通映像であることを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項3】

前記普通映像は、マーク領域に対応する領域の明るさを暗く調整した映像であることを特徴とする、請求項２に記載の差分カメラを利用した映像処理装置。

【請求項4】

前記第１映像は、普通映像の第１カラーの補色カラー成分映像に、マーク映像の第１カラー成分映像を合成した映像であり、
前記第２映像は、普通映像の第１カラー成分映像に、マークの第１カラーの補色カラー成分映像を合成した映像であり、
前記映像処理手段は、前記２映像を撮影した２映像の第１カラー成分映像の差分映像を調べ、そのピクセル値が０ではない領域でマークを検出することを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項5】

前記ディスプレイは、第３映像をさらに出力し、
前記第１映像は、マーク映像であり、
前記第２映像は、空白映像であり、
前記第３映像は、普通映像であることを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項6】

前記ディスプレイは、第３映像をさらに出力し、
前記第１映像は、マーク映像であり、
前記第２映像は、前記マーク映像の補色反転映像であり、
前記第３映像は、普通映像であることを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項7】

前記ディスプレイは、第３映像と第４映像とをさらに出力し、
前記第１映像は、マーク映像であり、
前記第２映像は、空白映像であり、
前記第３映像は、普通映像であり、
前記第４映像は、前記マーク映像の補色反転映像であることを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項8】

前記第１映像は、点滅する光源で点灯された光源を撮影した映像に該当し、
前記第２映像は、点滅する光源で消えた光源を撮影した映像に該当し、
前記マークは、前記第１映像で点灯された光源に該当し、
前記第１映像と前記第２映像との差分映像から前記点灯された光源が検出されることを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項9】

前記マークは、マウスカーソルアイコンであり、
前記映像処理手段は、２映像の差分イメージを調べ、そのピクセル値が０ではない領域でマウスカーソルアイコンを検出し、ポインティング信号を出力することを特徴とする、請求項１に記載の差分カメラを利用した映像処理装置。

【請求項10】

（段階１）マークを含む第１映像を撮影する段階と、
（段階２）第２映像を撮影する段階と、
（段階３）前記段階１及び前記段階２で撮影された２映像の差分映像において、ピクセル値が０ではない領域を検出する段階と、
（段階４）マーク映像または普通映像において、事物の境界線領域を求める段階と、
（段階５）前記段階３で求めた差分ピクセル値が０ではない領域から、前記段階４で求めた前記事物の境界線領域を除いた残りの領域を求め、その領域を調べてマークを検出する段階と
を含み、
前記段階４は、以前瞬間に撮影した第１映像と、現在撮影した第１映像との差分映像、または以前瞬間に撮影した第２映像と、現在撮影した第２映像との差分映像から、前記事物の境界線領域を判断する段階を含むことを特徴とする、差分カメラを利用した映像処理方法。

【請求項11】

（段階１）マークを含む第１映像を撮影する段階と、
（段階２）第２映像を撮影する段階と、
（段階３）前記段階１及び前記段階２で撮影された２映像の差分映像において、ピクセル値が０ではない領域を検出する段階と、
（段階４）マーク映像または普通映像において、事物の境界線領域を求める段階と、
（段階５）前記段階３で求めた差分ピクセル値が０ではない領域から、前記段階４で求めた前記事物の境界線領域を除いた残りの領域を求め、その領域を調べてマークを検出する段階と
を含み、
前記段階４は、以前瞬間に撮影した第１映像と、現在撮影した第１映像との差分映像、または以前瞬間に撮影した第２映像と、現在撮影した第２映像との差分映像から、前記事物の境界線領域を判断する段階を含むことを特徴とする、差分カメラを利用した映像処理方法を実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マークを含む映像を撮影した以前フレーム映像と、マークを含まない映像を撮影したその次フレーム映像との差分イメージにおいて、ピクセル値が０ではないピクセルを調べ、マークを迅速であって容易に検出する映像処理装置に関する。

【背景技術】

【0002】

マーク認識、ポインティング、マウス、増強現実、カメラ、差分イメージ、映像処理において、最近では、カメラを利用して、コンピュータ画面のマウスカーソルアイコンを撮影して認識し、ポインティング作業が可能な技術が開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、コンピュータ画面の複雑な背景内にあるマウスカーソルアイコンを迅速に安定して認識する装置を提供することを目的にする。

【0004】

また、本発明は、カメラがコンピュータ画面ではない周辺環境を撮影する間には、周辺事物をマウスカーソルアイコンで誤って認識する問題を解決することを目的にする。

【課題を解決するための手段】

【0005】

本発明による差分カメラを利用した映像処理装置は、互いに異なる種類の映像を交互に順に１画面に出力させ、カメラで２種の映像を順に撮影し、撮影された２種の映像を比較し、マークを安定して迅速に検出する装置を提供することを特徴とする。

【発明の効果】

【0006】

本発明による差分カメラを利用した映像処理装置を利用して、迅速であって安定して検出されたマークは、ポインティング作業や増強現実技術に活用される。また、ロボットが周辺環境を認識するのに活用されもする。

【0007】

本発明による差分カメラを利用した映像処理装置は、２映像を差分してピクセル値を調べ、マークが存在する可能性が高い領域を求め、その領域でマークを検出する。もしカメラがコンピュータ画面ではない周辺事物を撮影するならば、差分映像において、マークが存在する可能性の高い領域が示されず、それ以上マークを検出する試みを行わない。従って、ＣＰＵの占有率を低くすることが可能であり、電力消耗量も減らすことができる。しかし、そのような本発明による差分方式を使用しないのであるならば、常時マークが存在すると仮定してマークを検出しようと試みるために、ＣＰＵ占有率が高くなり、電力消耗が多くなり、認識速度も遅くなる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の構成図である。

【図2】マークイメージと普通イメージとを示す図面である。

【発明を実施するための形態】

【0009】

実施形態１
最近、カメラを利用して、コンピュータ画面のマウスカーソルアイコンを撮影して認識し、ポインティング作業を行うことが可能な技術が開発された。例えば、本発明の発明者の特許技術である韓国特許１０−０９３６８１６号「カメラとマーク出力とによるポインティング装置」がある。前記ポインティング技術は、ディスプレイに、奇数番目のフレームには、マーク映像を出力し、偶数番目のフレームには、正常映像を出力し、映像処理部は、奇数番目のフレームを撮影したイメージでマークを認識し、ポインティング座標を算出する技術を含む。そのようなマークが、図１でのように、マウスカーソルアイコンＩＣＣであり、画面中心領域に存在するならば、カメラで撮影した映像において、マウスカーソルアイコン周辺に余白が十分であり、マウスカーソルアイコンを容易に検出することができる。しかし、マウスカーソルアイコンＩＣＥが、図１のディスプレイ画面ＤＳの境界線に存在する場合には、ディスプレイ外部の事物のパターンＰＴから分離させて検出し難いという問題がある。特に、周辺事物が、マウスカーソルアイコンと、色や形態が類似しているならば、マークを検出することもできない。そして、マークがたとえ画面中心領域に存在するにしても、カメラレンズとして広角レンズを使用したり、あるいはディスプレイとカメラとの距離が遠く、撮影されたイメージにディスプレイ周辺事物が、マウスカーソルアイコンと共に撮影される場合、その事物とマウスカーソルアイコンとを区別するのに時間がかかるという問題がある。

【0010】

本発明は、前述の問題を解決するためのものであり、コンピュータ画面の周辺事物の複雑な背景内にあるマウスカーソルアイコンまたはマークを、迅速に安定して認識する装置を提供することを目的にする。

【0011】

前記目的を達成するために、本発明による差分カメラを利用した映像処理装置は、マークイメージと普通イメージとを迅速に交互に順にディスプレイに出力させ、カメラで前記２種の映像を順に撮影し、撮影された映像から差分映像（difference image）を求め、その差分映像のピクセル値が０である領域は、ディスプレイ領域ではないと判断し、その領域を除いた残りの領域でマークを調べ、マークを安定して迅速に検出する装置を提供することを特徴とする。ここで、差分映像は、２映像で対応するピクセルの差値をピクセル値にする映像を意味する。例えば、差分映像の（ｘ，ｙ）ピクセル値は、２映像の（ｘ，ｙ）ピクセル値の差である。入力映像にノイズがあるならば、差分映像を求める２つの入力映像にガウスフィルタのような前処理を行うことが望ましい。マークイメージと普通イメージとを迅速に交互に出力させることは、人目にフリッカ（flicker）が見えないように、１秒に６０回以上２イメージを交互に出力することが望ましい。それは、シャッタメガネ方式の１２０Ｈｚ３Ｄディスプレイを使用すれば可能である。

【0012】

カメラが静止した状態であるならば、差分映像において、ディスプレイＤＳ外部領域は、差分ピクセル値が０であるが、ディスプレイ内部領域は、差分値が０ではない値になる。例えば、図１のマウスカーソルアイコンＩＣＥマークがディスプレイ外部のパターンＰＴと近接していても、その差分映像において、周辺パターンＰＴ領域は、差分ピクセル値が０であるが、マウスカーソルアイコンマークＩＣＥ領域では、差分ピクセル値が０ではないので、差分ピクセル値が０ではない領域を調べることにより、マークを周辺パターンから容易に分離して検出することができる。

【0013】

差分映像において、ピクセル値が０ではない領域は、ディスプレイ領域に該当する。そのディスプレイ領域において、マーク領域を差分で検出しやすいように、図２のように、ディスプレイに出力する普通イメージＯＩにおいて、マークイメージのマーク領域ＭＫに対応する領域を暗く調整することが望ましい。ここで、対応する領域とは、２イメージを重ねておいたとき、対応する領域も重なるということを意味する。例えば、図２のように、普通イメージのマーク領域ＭＫを暗く明るさを調整し、差分順序を、マーク映像ＭＩから普通映像ＯＩを抜き取るように設定すれば、マークイメージＭＩのマーク周辺は、黒色余白であるので、ピクセル値が０、または非常に小さい値であり、普通映像ＯＩは、それより明るい領域であるので、ピクセル値が０または正数であり、従って、マーク領域の差分値は、正数であり、そのマーク領域を除いた周辺余白では、差分値が０または負数になる。従って、差分映像において、差分値が正数である領域が、マークが存在する可能性の高い領域になり、マークを撮影したマーク映像において、前記マークが存在する可能性が高い領域を調べれば、マークを容易に迅速に検出することができる。本発明では、そのように、マーク映像ＭＩから普通映像ＯＩを抜き取った映像を一次差分映像という。

【0014】

カメラが静止した状態であるならば、一次差分映像において、マーク領域だけ差分値が正数であり、残り領域は、負数または０になる。しかし、カメラが動いた場合には、マークとディスプレイ周辺事物ＰＴとの境界線でも、差分値が正数にもなる。その場合、一次差分値が正数である領域において、事物の境界線ＰＴに該当する領域を除去すれば、マーク領域だけ求めることができる。本発明では、そのように、一次差分映像から、事物の境界線に該当する領域を除去することを二次差分という。一般的に、イメージＯＩを撮影した映像において、事物の境界線を求めれば、ディスプレイ内の普通映像の事物ＷＩの境界線も求められるために、事物の境界線領域を求めるのは、マークイメージＭＩを撮影した映像を利用することが望ましい。

【0015】

それを整理すれば、次の通りである。
（段階１）ディスプレイに出力されたマーク映像ＭＩを撮影する。
（段階２）ディスプレイに出力されたマーク領域ＭＫの明るさを暗く調整した普通映像ＯＩを撮影する。
（段階３）前述の段階１，２で撮影された２映像の差分映像（一次差分、マーク映像から普通映像を取り除いた映像）において、ピクセル値が正数である領域を検出する。
（段階４）段階１で撮影したマーク映像において、事物の境界線領域を求める。
（段階５）段階３で求めた差分ピクセル値が正数である領域から、段階４で求めた事物の境界線領域を除いた残りの領域を求め（二次差分）、その領域を調べてマークを検出する。

【0016】

段階５において、事物の境界線領域を除く場合、境界線近辺の適当な領域まで除去することが望ましい。その近辺の範囲は、カメラが迅速に動くほど、大きくすることが望ましい。

【0017】

段階４において、事物の境界線を求める方法は、例えば、キャニーエッジ検出器（Canny edge detector）を使用することができる。しかし、その方法は、臨界値をいかに与えるかということによって、検出される境界線が異なるという問題があり、カメラが動く速度と、検出される境界線の太さとが無関係であるという問題がある。本発明では、キャニーエッジ検出器で検出した境界線映像の代わりに、次のような差分による境界線イメージを使用することが望ましい。

【0018】

撮影順序を、次の通りである。

【表1】

【0019】

現在視覚がｔであるならば、以前瞬間（ｔ−２）に撮影したマークイメージ０と、現在瞬間ｔに撮影したマークイメージ２との差分イメージ（それを、本発明では、差分による境界線イメージという）を境界線映像に使用することが望ましい。そのような境界線映像に、膨脹演算（erosion）を適用し、境界線の領域の太さを増大させて使用することもできる。

【0020】

その方式を使用すれば、カメラの動きが多ければ、検出される境界線領域も太くなる。すなわち、一次差分映像のピクセル値が正数である領域の太さと、差分による境界線イメージのピクセル値が正数である領域の太さとが互いにほぼ同じになるので、段階５で求めた二次差分イメージがさらにきれいになるという長所がある。もし段階４において、キャニーエッジ検出器で境界線イメージを求め、段階５でそれを使用すれば、キャニーエッジ検出器で求めた境界線の太さは、カメラの動きと無関係に、常時一定であるが、一次差分映像での境界線の太さは、カメラの動きによって変わるので（カメラが迅速に動くほど太くなる）、二次差分映像で境界線が十分にかき消されない。

【0021】

このように検出されたマークやマウスカーソルアイコンは、ポインティング作業に利用される。すなわち、カメラが撮影した映像から検出したマウスカーソルアイコンがカメラの視線方向に移動するように、ポインティング信号を生成することができる。

【0022】

ポインティング作業をしばらく中断する場合、カメラを机の上に置き、他のことを行うことができる。その場合、カメラは、ディスプレイではない周辺環境を撮影する。その場合、従来の技術である特許１０−０９３６８１６号「カメラとマーク出力とによるポインティング装置」の技術でポインティング作業を行うならば、周辺環境に、マウスカーソルアイコンと類似しているパターンがあるならば、それを映像処理プログラムが誤って認識し、誤ったポインティング信号が発生しもする。しかし、本発明による差分方式を使用すれば、一次差分映像において、全てのピクセル値が０であるので、マークが存在しないということが容易に分かり、次の段階に進まない。すなわち、プログラムは、マークが存在しないということが容易に迅速に分かり、それ以上マークを検出するための段階（例えば、二次差分を求める段階）を経ず、ＣＰＵを占有しなくなるので、電力消耗を減らすことができる。

【0023】

また、カメラとディスプレイとの距離が遠ければ撮影されたイメージにおいて、マウスカーソルアイコンが小さくなり、映像処理プログラムは、その形態を分析し難い。しかし、本発明によるポインティング装置は、二次差分イメージのピクセル値が正数である地点だけ検出すればよいので、マークの形態を調べることができないとしても、認識が可能である。すなわち、従来の技術より遠い距離でも、安定してマークを検出することができる。

【0024】

現在、ホームショッピング・プログラム映像の一部領域で、ＱＲコード（登録商標）を出力して放送している。そのようなＱＲコードに対して、マークを使用して、普通映像にそのマーク部分を暗く調整した後、マーク映像と普通映像とを交互に迅速に出力し、本実施形態の差分方法で、ＱＲコードを手軽に迅速に検出することができる。

【0025】

マウスカーソルアイコンの代わりに、ディスプレイの四角形の４頂点にマークを出力し、それを本実施形態の方法で検出し、カメラとディスプレイのとの三次元相対位置と方向とを検出し、増強現実映像を生成することもできる。

【0026】

実施形態２
本実施形態２は、前記実施形態１の変形例である。前記実施形態１は、黒色空白映像（空白映像は、全てのピクセル値が同一である映像を意味する）に、マーク映像を合成した映像をディスプレイに出力し、その次の瞬間には、普通映像の対応するマーク部分を暗く調整した普通映像をディスプレイに出力した映像をそれぞれ撮影して差分し、マークを検出する方式である。

【0027】

それに比べて本実施形態２は、フルカラーのマーク（例えば、白色マーク）の第１カラー成分映像（例えば、赤色成分映像）を、普通映像の前記第１カラーの補色カラー（例えば、シアン）成分映像に合成した第１映像を出力し、その次の瞬間に、マークの第１カラーの補色成分映像を、普通映像の第１カラー成分映像に合成した第２映像を出力する方式である。

【0028】

ここで与えられたカラー映像の第１カラー成分映像（例えば、赤色成分映像）とは、各ピクセルの赤色成分、青色成分、緑色成分のうち、第１カラー成分値（例えば、赤色成分値）を除いた残りの成分値を０に変えた映像を意味する。そのような２映像が同時に画面に出力されれば、ユーザは、マークと普通イメージとをフルカラーで見ることになる。そのように出力した２映像を、前記実施形態１のようにカメラを使用してそれぞれ撮影して得た２つのカラーイメージから、第１カラー成分だけ選択すれば、第１映像を撮影した映像は、マーク部分だけ明るく表示され、その周辺のディスプレイ領域は、暗く表示される。それは、図２のマーク映像ＭＩに対応する。そして、第２映像を撮影し、第１カラー成分映像を生成すれば、マーク部分だけ暗く、その周辺ディスプレイ領域では、明るく表示される。それは、図２の普通映像ＯＩに対応する。そのような２つの第１カラー成分映像に対して、一次差分映像を求めれば（すなわち、第１映像を撮影した映像の第１カラー成分映像から、第２映像を撮影した映像の第１カラー成分映像を差分する）、差分映像において、マーク部分は、差分値が正数になり、その周辺ディスプレイ領域は、負数または０になる。もしカメラが動いた状態であるならば、ディスプレイ外の領域でも、物体の境界線部分において、差分値が正数にもなる。その場合には、前記実施形態１のように、二次差分で事物の境界線領域を求め、その部分だけ一次差分映像から除けば、マーク部分だけ正数になる。従って、一次差分過程、二次差分過程を介して求めた最終差分イメージにおいて、正数であるピクセルの領域を調べれば、マークを容易に検出することができる。

【0029】

実施形態３
本実施形態３は、前記実施形態１の変形例である。前記実施形態１は、黒色空白映像（空白映像は、全てのピクセル値が同一である映像を意味する）にマーク映像を合成した映像をディスプレイに出力し、その次の瞬間には、普通映像の対応するマーク部分を暗く調整した普通映像を、ディスプレイに出力した映像をそれぞれ撮影して差分し、マークを検出する方式である。それに比べて本実施形態３は、普通映像の対応するマーク部分を暗く調整した普通映像を、ディスプレイに出力する代わりに、黒色空白映像を出力した後、普通映像を出力する方式である（出力順序は、変わってもよい。すなわち、普通映像を出力した後、空白映像を出力してもよい）。すなわち、本実施形態３は、３種の映像（マーク映像、空白映像、普通映像）を交互に迅速に出力し、そのうち、マーク映像と空白映像とを撮影した２映像の差分を計算し、マーク部分を検出する方式である。該方式を使用すれば、実施形態１のように、普通映像に対して、マーク部分を暗く処理する必要がない。従って、マークによって普通映像が隠されるという問題が解決される。すなわち、マーク部分を暗く処理していない本来の普通映像とマーク映像とが迅速に交互に出力されるので、ユーザは、マークがまるで半透明のｙ９おうに見え、マーク部分にある部分の普通映像を見ることができる。しかし、前記実施形態１の方法は、普通映像のマーク部分を暗く処理することにより、マーク部分の普通映像を見ることができないという問題がある。

【0030】

実施形態４
本実施形態４は、前記実施形態１の変形例である。前記実施形態１は、黒色空白映像（空白映像は、全てのピクセル値が同一である映像を意味する）にマーク映像を合成した映像をディスプレイに出力し、その次の瞬間には、普通映像の対応するマーク部分を暗く調整した普通映像をディスプレイに出力した映像をそれぞれ撮影して差分し、マークを検出する方式である。それに比べて本実施形態４は、ユーザにマークを見せない構成に係わるものである。例えば、ＴＶホームショッピング放送中に、画面に小さくＱＲコードが出力される。そのようなＱＲコードは、本来画面を隠さないように、画面隅に小さく出力されているために、そのＱＲコードを、ＱＲコード認識アプリが実行されるスマーフォンのカメラで撮影するためには、ユーザは、ＴＶ画面に近づかなければならないという不都合がある。もしそのようなマークを画面全体に表示する代わりに、肉眼には見えないが、カメラは撮影することができるならば便利であろう。

【0031】

本実施形態４は、画面の黒色空白映像に、マークだけ合成した映像（第１映像）、前記第１映像の補色反転映像（第２映像）、及び本来出力する普通映像（第３映像）を順に出力し、第１映像と第２映像とを撮影した２映像の差分映像を求め、ピクセル値が０ではない領域を調べてマークを検出する方式である。カメラが動く場合には、一次差分イメージでマークを検出し難くもなるので、前記実施形態１で説明した二次差分まで求め、マークを検出することが望ましい。

【0032】

黒色空白映像にマークだけ合成した映像（第１映像）と、前記第１映像の補色反転映像（第２映像）とを迅速に続けて出力すれば、該２映像が重なり、画面全体が灰色に見えるので、マークを見ることができないが、高速カメラで撮影すれば、第１映像と第２映像とをそれぞれ区分して撮影することができ、差分映像も求めることができ、その映像からＱＲコードを容易に検出することができる。ここで、補色反転映像とは、本来の映像ピクセル値と、補色映像のピクセル値とを加えれば、白色、灰色、または全てのピクセル値が同一である空白になる映像を意味する。例えば、白色は、赤色、緑色、青色がいずれも２５５であると決定する場合、本来映像のピクセル値が、赤色＝１２５、緑色＝１００、青色＝１５０であるならば、その補色反転カラー値は、赤色＝２５５−１２５、緑色＝２５５−１００、青色＝２５５−１５０になる。もしＱＲコードを、黒色背景に赤色にすれば、その補色反転映像は、白色背景にシアン色のマークになる。

【0033】

実施形態５
本実施形態５は、前記実施形態４の変形例である。本実施形態５は、前記実施形態４で出力する黒色空白映像に、マークだけ合成した映像（第１映像）、前記第１映像の補色反転映像（第２映像）、及び本来出力する普通映像（第３映像）に付け加え、黒色空白映像（第４映像）をさらに出力し、第１映像と第４映像との差分でマークを求める方式である。このようにすれば、前記実施形態４の場合より、さらに容易にマークを検出することができる。

【0034】

すなわち、前記実施形態４の場合、カメラが動けば、一次差分映像のマーク映像が乱れるが、本実施形態５の場合には、カメラが動いても、一次差分映像のマークは、はるかにきれいである。

【0035】

実施形態６
前記実施形態６のマークを、点滅する光源で代替することもできる。例えば、交通信号灯の光源を迅速に点滅させ、その点滅周期に合うようにカメラで信号灯を撮影し、前記実施形態１の差分方法で、信号灯を検出することができる。例えば、信号灯を１秒に６０回フリッカするように調整すれば、肉眼には、信号灯が常時点灯されているように見える。信号灯が点灯された瞬間に撮影した映像は、前記実施形態１のマーク映像に該当し、信号灯が消えた状態で撮影した映像は、普通映像に対応する。そのようなマーク映像から普通映像を取り除けば、マーク部分だけ明るく表示される。もしカメラが動いたならば、信号灯周辺の事物の境界線領域も明るく表示される。その場合には、前記実施形態１のように、二次差分で、その事物の境界線領域を求めて除去すれば、信号灯部分だけ明るく表示される。そのような点滅光源を、カメラと映像処理手段とが含まれたロボットまたは無人自動車が認識して自律走行を行うこともできる。

【0036】

前記実施形態において、１種類の普通映像を出力する代わりに、３Ｄディスプレイのシャッタメガネのためのステレオ映像（左目に見える映像、及び右目に見える映像）を連続して出力することもできる。そのように、普通映像を出力する代わりに、多種の映像を連続して出力することもできる。最近では、１つのディスプレイに、他チャンネルの映像を交互に出力し、シャッタメガネを着用した２人が、それぞれ異なるチャンネルの映像を同時に見るＴＶが市場に出回っている。そのような異なる多数のチャンネル映像を、本実施形態の普通映像の代わりに交互に出力することもできる。
［発明の項目］
［項目１］
映像処理装置において、
第１映像と第２映像とを交互に出力するディスプレイと、
前記２映像を撮影するカメラと、
前記カメラで撮影した第１映像と第２映像との差分映像において、ピクセル値が０ではない領域でマークを検出する映像処理手段と
を含み、
前記第１映像は、マークを含む映像であることを特徴とする、差分カメラを利用した映像処理装置。
［項目２］
前記映像処理手段は、前記差分映像のピクセル値が０ではない領域において、事物の境界線領域を除いた領域で、マークを検出することを特徴とする、項目１に記載の差分カメラを利用した映像処理装置。
［項目３］
前記映像処理手段は、以前瞬間に撮影した第１映像と、現在撮影した第１映像との差分映像、または以前瞬間に撮影した第２映像と、現在撮影した第２映像との差分映像から、事物の境界線映像を求めることを特徴とする、項目２に記載の差分カメラを利用した映像処理装置。
［項目４］
前記第１映像は、マーク映像であり、
前記第２映像は、普通映像であることを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目５］
前記普通映像は、マーク領域に対応する領域の明るさを暗く調整した映像であることを特徴とする、項目４に記載の差分カメラを利用した映像処理装置。
［項目６］
前記第１映像は、普通映像の第１カラーの補色カラー成分映像に、マーク映像の第１カラー成分映像を合成した映像であり、
前記第２映像は、普通映像の第１カラー成分映像に、マークの第１カラーの補色カラー成分映像を合成した映像であり、
前記映像処理手段は、前記２映像を撮影した２映像の第１カラー成分映像の差分映像を調べ、そのピクセル値が０ではない領域でマークを検出することを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目７］
前記ディスプレイは、第３映像をさらに出力し、
前記第１映像は、マーク映像であり、
前記第２映像は、空白映像であり、
前記第３映像は、普通映像であることを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目８］
前記ディスプレイは、第３映像をさらに出力し、
前記第１映像は、マーク映像であり、
前記第２映像は、前記マーク映像の補色反転映像であり、
前記第３映像は、普通映像であることを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目９］
前記ディスプレイは、第３映像と第４映像とをさらに出力し、
前記第１映像は、マーク映像であり、
前記第２映像は、空白映像であり、
前記第３映像は、普通映像であり、
前記第４映像は、前記マーク映像の補色反転映像であることを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目１０］
前記第１映像は、点灯された光源映像であり、
前記第２映像は、消えた光源映像であることを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目１１］
前記マークは、マウスカーソルアイコンであり、
前記映像処理手段は、２映像の差分イメージを調べ、そのピクセル値が０ではない領域でマウスカーソルアイコンを検出し、ポインティング信号を出力することを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目１２］
前記マークは、増強現実用マーク、あるいは情報出力用の文字またはマークであり、
前記映像処理手段は、２映像の差分イメージを調べ、そのピクセル値が０ではない領域でマークを検出し、カメラとマークとの三次元相対位置と方向とを検出し、増強現実映像を出力することを特徴とする、項目１〜３のいずれか１項に記載の差分カメラを利用した映像処理装置。
［項目１３］
（段階１）マークを含む第１映像を撮影する段階と、
（段階２）第２映像を撮影する段階と、
（段階３）前記段階１及び前記段階２で撮影された２映像の差分映像において、ピクセル値が０ではない領域を検出する段階と、
（段階４）マーク映像または普通映像において、事物の境界線領域を求める段階と、
（段階５）前記段階３で求めた差分ピクセル値が０ではない領域から、前記段階４で求めた事物の境界線領域を除いた残りの領域を求め、その領域を調べてマークを検出する段階と
を含むことを特徴とする、差分カメラを利用した映像処理方法。
［項目１４］
（段階１）マークを含む第１映像を撮影する段階と、
（段階２）第２映像を撮影する段階と、
（段階３）前記段階１及び前記段階２で撮影された２映像の差分映像において、ピクセル値が０ではない領域を検出する段階と、
（段階４）マーク映像または普通映像において、事物の境界線領域を求める段階と、
（段階５）前記段階３で求めた差分ピクセル値が０ではない領域から、前記段階４で求めた事物の境界線領域を除いた残りの領域を求め、その領域を調べてマークを検出する段階と
を含むことを特徴とする、差分カメラを利用した映像処理方法を実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【図1】

【図2】