特許 6704910 映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6704910

(24)【登録日】2020年5月15日

(45)【発行日】2020年6月3日

(54)【発明の名称】映像処理装置

(51)【国際特許分類】

   H04N 1/387 20060101AFI20200525BHJP

   G06T 5/50 20060101ALI20200525BHJP

   G06K 19/06 20060101ALI20200525BHJP

   G06K 1/12 20060101ALI20200525BHJP

   G06K 7/14 20060101ALI20200525BHJP

   G06K 7/12 20060101ALI20200525BHJP

   G06K 7/10 20060101ALI20200525BHJP

【ＦＩ】

   H04N1/387

   G06T5/50

   G06K19/06 037

   G06K19/06 112

   G06K19/06 140

   G06K19/06 103

   G06K1/12 H

   G06K7/14 017

   G06K7/12

   G06K7/10 464

【請求項の数】3

【全頁数】11

(21)【出願番号】特願2017-522670(P2017-522670)

(86)(22)【出願日】2015年10月26日

(65)【公表番号】特表2018-500793(P2018-500793A)

(43)【公表日】2018年1月11日

(86)【国際出願番号】KR2015011341

(87)【国際公開番号】WO2016068560

(87)【国際公開日】20160506

【審査請求日】2018年10月23日

(31)【優先権主張番号】10-2014-0146512

(32)【優先日】2014年10月27日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2014-0155756

(32)【優先日】2014年11月10日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2014-0189216

(32)【優先日】2014年12月25日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】514164982

【氏名又は名称】イ， ムン キ

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】イ， ムン キ

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開２００６−３３８２５１（ＪＰ，Ａ）

【文献】 特開２００５−３１６９７２（ＪＰ，Ａ）

【文献】 特開２０１０−１８２３３６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０５５７７４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／００− １／６４

Ｇ０６Ｋ １／１２

Ｇ０６Ｋ ７／１０

Ｇ０６Ｋ ７／１２

Ｇ０６Ｋ ７／１４

Ｇ０６Ｋ １９／０６

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

マーク映像及び普通映像を含むカラー映像を生成する映像処理装置において、
前記映像処理装置は、前記マーク映像を半透明に出力し、
前記カラー映像の特定カラー成分映像のマーク映像の境界線のコントラストは、
前記カラー映像の特定カラー成分映像の普通映像の境界線のコントラストより大きいが、
前記普通映像の境界線は、前記マーク映像の境界線近傍の一定領域以内の境界線であり、前記一定領域は、前記マーク映像のセルの横サイズまたは縦サイズと同一であるか、それより大きく、
前記普通映像の複数のカラー成分映像のうち、前記特定カラー成分映像に対して選択的に前記一定領域以内の境界線のコントラストが調節されることを特徴とする映像処理装置。

【請求項2】

前記特定カラーは、三原色のうち一つであることを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像のマーク映像のコントラストは、
前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像の普通映像のコントラストより小さいか、
前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像には、マーク映像が含まれないことを特徴とする請求項１に記載の映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カラー背景映像上にＱＲコードイメージを、半透明または透明に合成する技術に関する。

【背景技術】

【0002】

ＱＲコード、スマートフォン、モバイル装置、カメラ、映像処理、着用型コンピュータ、めがね型ディスプレイ、仮想現実、増強現実、マーク

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、ＱＲコードのような視覚的マークの改善に関するものである。ＱＲコードは、二次元バーコードの一種であり、例えば、雑誌の広告写真上に、関連ＵＲＬをＱＲコードで印刷したものを、ユーザがスマートフォンのカメラで撮影して認識し、ＱＲコードが示すＵＲＬにスマートフォンで接続することができる。そして、かようなＱＲコードは、カメラの姿勢を検出し、増強現実映像合成にも使用される。かような既存のＱＲコードは、不透明であり、背景映像を隠すという問題がある。背景映像を隠すことを最小化するために、従来のＱＲコードは、背景映像の一部分に小さく印刷されており、ユーザは、かようなＱＲコードをカメラで撮影するために、ＱＲコードに近寄らなければならないという不都合がある。ＱＲコードを遠くから撮影するためには、ＱＲコードを大きくデザインすればよいが、そうすれば、背景映像を多く隠すという問題がある。

【0004】

本発明は、背景映像上にＱＲコードを、半透明または透明に合成することにより、ＱＲコードを大きくデザインすることができ、背景映像も見ることができる半透明または透明なＱＲコードと、それを合成して検出することができる映像処理手段と、を提供することを目的とする。

【課題を解決するための手段】

【0005】

前記目的を達成するための本発明の半透明または透明のマークは、普通のカラー背景映像の明るさまたは変化幅（contrast）を調節した後、その上に、青色ＱＲコードを合成するが、青色ＱＲコード映像の明るさ変化幅は、前記背景映像の青色成分映像の明るさ変化幅より大きく調節したことを特徴とする。そして、かような半透明または透明のＱＲコードを検出する方法は、かような半透明または透明のＱＲコードを撮影した映像の青色成分映像を二値化し、ＱＲコードを検出することを特徴とする。また、かような二値化を安定して行うために、二値化する前に、青色成分映像において、赤色と緑色との成分映像を暗く調節した映像を差分した後で二値化し、ＱＲコードを検出することを特徴とする。

【発明の効果】

【0006】

本発明による半透明または透明のマークを使用すれば、ユーザの目障りにならないように、ＱＲコードを周辺環境に大きく付着させ、マーケティング手段として活用したり、増強現実や仮想現実のマーカーとして使用したりすることができる。

【図面の簡単な説明】

【0007】

【図1】２つの映像を合成する説明図である。

【図2】ピクセル値ヒストグラムの変化を示した図面である。

【図3】図２を一般化した図面である。

【発明を実施するための形態】

【0008】

実施形態１
本発明は、既存のＱＲコードが不透明であり、背景映像を隠すという問題を解決するために、カラー背景映像上に、黒白ＱＲコードを半透明に合成した半透明ＱＲコードを提供することを目的とする。具体的には、本発明による半透明ＱＲコード映像を生成する方法は、次の通りである。

【0009】

（段階１−１）普通のカラー背景映像を、三原色成分映像に分解する。すなわち、カラー映像から、３個の灰色（gray）映像（赤色成分映像、緑色成分映像、青色成分映像）を生成する。灰色映像は、例えば、最も暗いピクセル値が０であり、最も明るいピクセル値が２５５である２５６段階の映像でもある。

【0010】

（段階１−２）黒白二値（binary）ＱＲコード映像の白色ピクセル値を６４に変え、黒ピクセル値を−６４に変える。かように変換された映像のピクセル範囲は、−６４〜６４になる。かようなピクセル値の範囲（明るさ差）を、本発明では、コントラスト（contrast）という。すなわち、ピクセル分布範囲サイズが１２８になる。かようなバイナリ値（−６４，６４）は、絶対値が同じであり、符号は、異なるようにすることが望ましい。

【0011】

（段階１−３）段階１−１で求めた青色成分灰色映像の最も暗いピクセル値と、最も明るいピクセル値との差Ｂ（ピクセル値の分布範囲サイズ、すなわち、コントラスト）が、前記段階１−２で求めたＱＲコード映像のピクセル範囲サイズＱ（１２８）より十分に小さくピクセル値を変換するが、Ｂ＋Ｑ＜２５５になるように調整する。すなわち、２映像のコントラストの和が、映像の最大可能なコントラストである２５５より小さくなければならない。そうであってこそ、合成された映像をディスプレイに出力することができ、印刷することができる。前述の条件Ｂ＋Ｑ＜２５５の意味は、普通映像の青色成分灰色映像とＱＲコード映像とを合成した映像のピクセル範囲サイズが、２５５より小さくなければならないという意味である。例えば、青色成分灰色映像の最も暗いピクセル値が０であり、最も明るいピクセル値が２５５であるならば、全てのピクセル値に６０／２５５を乗じた新たなピクセル値を、暗く調整された新たな映像のピクセル値にする。かように、定数（６０／２５５）を全てのピクセルに乗ずれば、イメージ全体が暗くなるので、原本カラー映像が暗くなる。本段階の変換過程において、原本カラー映像の明るさを最大限維持するならば、青色成分灰色映像の平均ピクセル値を求め、それよりピクセル値が大きい（明るい）ピクセルは、明るさを減らし、ピクセル値が平均ピクセル値より小さい（暗い）ピクセルは、ピクセル値を増加させることが望ましい。図２は、かような変換前後のイメージのピクセル値のヒストグラムを示したものである。図２において、変換前の青色成分灰色映像のピクセル範囲は、０〜２５５であり、平均ピクセル値は、１６４である。かような映像が、本段階１−３を経れば、ピクセル範囲が１６４−３０〜１６４＋３０である映像に変換される。図３は、図２を一般化した図面である。図３は、ピクセル値範囲がｆ１〜ｔ１であり、平均ピクセル値がａである映像を、ピクセル値範囲がｆ２〜ｔ２である映像に変化させた映像のピクセル値のヒストグラムを示したものである。変換前の任意のピクセル値ｐ１，ｑ１は、ｐ２，ｑ２にそれぞれ変換され、その具体的な値は、次のような比例式から求めることができる（比例式ではない非線形変換を使用してもよい。ここで、該比例式は、可能な変換中の一例である）。
（ａ−ｆ１）：（ｐ１−ｆ１）＝（ａ−ｆ２）：（ｐ２−ｆ２）
（ｔ１−ａ）：（ｑ１−ａ）＝（ｔ２−ａ）：（ｑ２−ａ）

【0012】

かように、背景映像の青色成分映像のピクセル値の分布範囲（コントラスト）を、ＱＲコード映像のピクセル値の分布範囲（コントラスト）より小さく制限することにより、合成された映像をカメラで撮影した映像を二値化し（binarize）、ＱＲコード映像を検出することができる。もし背景映像の青色成分映像のピクセル値の分布範囲（例えば、６０）がＱＲコード映像のピクセル値の分布範囲（例えば、１２８）より小さければ、本段階１−３は、通過する。

【0013】

かような具体的な数字（２５５，１２８，６０）は、説明の便宜のための値であり実際本発明を具現化するときは、その値が異なることもある。

【0014】

そして、前述の比例式以外の他のアルゴリズムを使用することもできる。

【0015】

そのように、背景映像のコントラストを減らすことを、背景映像全体に対して、同一比例式またはアルゴリズムを使用して行うこともできるが、背景映像の各ピクセルに対して、そのピクセルに最も適する比例式またはアルゴリズムを使用して行うこともできる。例えば、背景映像の青色成分映像と、ＱＲコード映像の合成された映像において、ＱＲコードのセル（cell）境界線コントラストが、その境界線近傍の一定領域内の背景映像の境界線のコントラストより大きくなるように、背景映像の境界線のコントラストを減らすこともできる。

【0016】

ここで、ＱＲコードのセルは、ＱＲコードの情報を表示する同一ピクセル値の最小単位四角形領域を意味する。そして、前記近傍の一定領域は、ＱＲコードのセルサイズ（セルの四角形の横辺または縦辺の長さのうち短いもの）と同じであるか、あるいはそれよりも大きくすることが望ましい。かようにコントラストを調整すれば、合成された映像の各ピクセルを二値化するとき、そのピクセル周辺のＱＲコードのセルサイズほどの領域内のピクセルのヒストグラムを調査し、二値化を容易にすることができる。

【0017】

（段階１−４）段階１−２で求めたＱＲコード映像（ピクセル範囲サイズが１２８である映像）と、段階１−３で求めた青色成分映像（ピクセル範囲サイズが６０である映像）との加算映像を求める。

【0018】

ここで、２つの入力映像の加算映像は、２つの入力映像の対応する同一位置（ｘ，ｙ）のピクセルのピクセル値を加えた値が、加算映像の対応する同一位置（ｘ，ｙ）のピクセル値である映像を意味する。

【0019】

（段階１−５）前記段階１−４で求めた加算映像のピクセル値の分布が、ディスプレイに出力可能な範囲（例えば、０から２５５）、または印刷可能な範囲になるように調整する。

【0020】

例えば、段階１−３で求めた青色成分映像のピクセル範囲が（２５５−６０）〜２５５であり、ＱＲコード映像のピクセル範囲が−６４〜６４であるならば、２映像をピクセル別に加えて合成された加算映像のピクセル範囲は、（２５５−６０−６４）〜（２５５＋６４）になる。灰色映像の最大明るさは、２５５であり、合成されたピクセル値の最大値（２５５＋６４）は、その範囲を外れるので、適当な定数を、合成された加算映像の全てのピクセルに加え、ピクセルの範囲を平行移動させなければならない。すなわち、２５５＋６４が２５５と同じであるか、あるいはそれよりも小さくなるように、加算映像の全てのピクセルに−６４を加えるのである。

【0021】

同様に、例えば、段階１−３で求めた青色成分映像のピクセル範囲が０〜６０であり、ＱＲコード映像のピクセル範囲が−６４〜６４であるならば、２映像を加えて合成された映像のピクセル範囲は（０−６４）〜（６０＋６４）になる。灰色映像の最小明るさは、０であり、合成されたピクセル値の最小値（０−６４）は、その範囲を脱するので、適当な定数を加算映像の全てのピクセルに加え、ピクセル範囲を平行移動させなければならない。すなわち、０−６４が０と同じであるか、あるいはそれより大きくなるように、全てのピクセルに６４を加えればよい。

【0022】

（段階１−６）段階１−１で生成した赤色成分映像、緑色成分映像、及び段階１−４で合成した新たな青色成分映像によって構成された新たなカラー映像を生成する。それにより、その新たなカラー映像が本発明による半透明ＱＲコード映像になる。

【0023】

その場合、もし緑色成分映像または赤色成分映像が過度に明るいか、あるいはコントラストが強ければ、明るさまたはコントラストを減らした後で合成することが、合成された映像において、ＱＲコードを検出するのに有利である。また、前記（段階１−１）で求めた青色成分映像の特定部分に、コントラストが過度に大きい場合（すなわち、あまりにも明るい領域と、あまりにも暗い領域とが接する場合）には、その領域だけコントラストをさらに多く減らすことも可能である。例えば、その部分だけ、ヒストグラム平滑化を行った映像に代替することもできる。その場合、ヒストグラム平滑化アルゴリズムとして、コントラストが制限された適応的ヒストグラム平滑化（ＣＬＡＨＥ：contrast limited adaptive histogram equalization；https://en.wikipedia.org/wiki/Adaptive_histogram_equalization）、またはそれと類似した方法を使用することもできる。そして、ヒストグラム平滑化の代わりに、ガウシアンブラー（Gaussian blur）のような他の映像処理を介して、映像コントラストを変化させることもできる。

【0024】

かような半透明ＱＲコード映像は、紙にカラーで印刷したり、ＬＣＤまたはビームプロジェクタのようなカラーディスプレイに出力したりすることができ、その出力映像をスマートフォンのカメラで撮影し、その撮影された映像を、スマートフォンの映像処理プログラムで分析し、以下のように、ＱＲコード映像と背景映像とを検出することができる。

【0025】

（段階２−１）半透明ＱＲコードカラー映像をカラーカメラで撮影する。

【0026】

（段階２−２）撮影されたカラー映像を、三原色成分映像３個に分解する。すなわち、撮影された映像の赤色成分映像、緑成分映像そして青色成分映像を生成する。

【0027】

（段階２−３）段階２−２で生成した赤色成分映像と緑色成分映像との対応するピクセル値を合成した値（加重平均したもの）を、新たな合成映像のピクセル値にする合成映像を生成する。例えば、赤色成分映像において、位置が（ｘ，ｙ）であるピクセル値をＲ（ｘ，ｙ）とし、緑色成分映像において、位置が（ｘ，ｙ）であるピクセル値をＧ（ｘ，ｙ）とすれば、合成された映像において、位置が（ｘ，ｙ）である地点のピクセル値は、Ｒ（ｘ，ｙ）＊ｗ１＋Ｇ（ｘ，ｙ）＊ｗ２である。ここで、ｗ１、ｗ２は、加重平均合成係数であり、０＜＝ｗ１＋ｗ２＜＝１である（＊は、乗算を意味する）。三原色のうち、緑色の感度が最も大きいので、緑色の加重値をさらに大きくすることが望ましい。すなわち、ｗ１＜ｗ２にすることが望ましい。

【0028】

具体的なｗ１，ｗ２値は、さまざまなｗ１，ｗ２値を使用して、本段階（段階２−１〜段階２−６）を経てＱＲコードを検出した結果を見て、検出が最も望ましいｗ１，ｗ２値を選択することが望ましい。例えば、ｗ１＝１／６、ｗ２＝１／３である値を使用することができる。

【0029】

（段階２−４）段階２−２で生成した青色成分映像から、段階２−３で合成した映像を差し引いた差分映像を求める。ここで、該差分映像は、対応する２つの入力映像のピクセル値を差し引いた値をピクセル値にする映像である。例えば、２つの入力映像をＩ１、Ｉ２とし、その２映像の差分映像をＤとすれば、位置（ｘ，ｙ）において、差分映像Ｄのピクセル値Ｄ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるＩ１のピクセル値から、位置（ｘ，ｙ）におけるＩ２のピクセル値を差し引いた値Ｉ１（ｘ，ｙ）−Ｉ２（ｘ，ｙ）になる。かように差分を行う理由は、イメージセンサの青カラーフィルタが青色光を通過させるだけではなく、若干の赤色光及び若干の緑色光も通過させるために、撮影された映像の青色成分映像にかすかに見える赤色事物と緑色事物との映像（ノイズ）を消すためである。または、カメラの自動白色調整機能（auto white balance）のために、本来の色が他色に変わって撮影されもするからである。かような差分を経れば、青色成分映像には、純粋に青色事物と合成されたＱＲコード映像だけが残ることになる。

【0030】

（段階２−５）前記段階２−４で求めた差分映像を二値化し、ＱＲコード映像を生成する。前記段階２−４で求めた差分映像は、青色事物の明るさ範囲（６０）が、前記半透明ＱＲコード生成段階（１−１）〜段階（１−６）において、ＱＲコード映像の明るさ範囲（１２８）より大きくないように調整して合成したものであるので、かような映像を二値化すれば、ＱＲコード映像を容易に求めることができる。かような明るさ範囲値（６０，１２８）は、説明の便宜のための一例でありのみ、実際に具現化するときは、他値を使用することも可能である。

【0031】

（段階２−６）前記段階２−４で求めた差分映像において、前記段階２−５で求めたＱＲコード映像に、適当な加重値を乗じて暗く調節した後、差し引いた差分映像を求めれば、それは、ＱＲコードが除去された背景映像の青色成分映像になる。かような青色成分映像の明るさを適当に増加させたものと、段階２−２で求めた赤色成分映像と緑色成分映像とからなるカラー映像を合成すれば、それは、ＱＲコードが除去された背景映像になる。

【0032】

前記段階（２−１）〜（２−６）を遂行した結果、ＱＲコード映像を検出することができないのであるならば、それは、（段階１−１）の普通カラー背景映像の明るさ変化がはなはだしいためである（すなわち、映像のコントラストが過度に強いためである）。その場合は、背景映像の明るさ変化が少ないように調整した後、半透明ＱＲコード映像を合成すればよい。例えば、（段階１−１）の普通カラー背景映像の赤色成分と緑色成分との映像を、前記段階（１−３）のような過程を経て、明るさ変化幅を減らし、半透明ＱＲコード映像を合成することが望ましい。

【0033】

前述の説明において、背景映像の青色成分映像にＱＲコード映像を合成した理由は、青色が肉眼に最も感度が低いために、合成された映像において、ＱＲコードが最も目立たないからである。すなわち、青色成分映像にＱＲコードを合成することが、合成された映像を肉眼で見たとき、背景映像は、最も原本映像と類似しており、ＱＲコード映像が最も微かであるからである。

【0034】

前述の普通背景映像に合成するＱＲコード映像の代わりに、任意の他のマーク映像を使用することも可能である。例えば、ロゴ、アイコン、増強現実用マーカー、バーコードまたは文字などのイメージを、ＱＲコード映像の代わりに使用して合成してもよい。

【0035】

かような合成された映像を、前述の方法で分析し、マーカーやＱＲコードを検出し、カメラと、ＱＲコードまたはマーカーとの三次元相対的な位置及び方向を計算し、遠近感あるように仮想客体を撮影した映像に合成するビデオシースルー（video see through）方式の増強現実システムを構成することができる。このとき、撮影された映像において、ＱＲコードやマーカーを消し、仮想客体を合成することが望ましい。ユーザは、合成された仮想客体の映像の背景に、ＱＲコードやマーカーが消されて見えないので、さらに自然な仮想現実映像を見ることができる。かようなシステムは、スマートフォンのカメラを使用して構成されもし、めがね型ディスプレイに付着されたカメラを使用しても構成される。

【0036】

かような青色のＱＲコードまたはマーカーを、光学的シースルー方式（optical see through）の増強現実システム（例えば、マイクロソフト社のホロレンズシステムやGoogleグラス）に使用するとするならば、視線方向を撮影するカメラが含まれためがね型ディスプレイに、黄色フィルタ（赤色と緑色とを通過させ、青色を遮断するフィルタ）を付着させればよい。このとき、カメラの前には、黄色フィルタを付着させてはならない。すなわち、黄色フィルタは、めがね型ディスプレイ着用者の目の前にしか設けてはならない。黄色フィルタは、青色成分のＱＲコード映像を遮断する役割を行う。このとき、完全な黄色よりは、若干の青色も通過させるフィルタを使用すれば、さらに自然なカラーを見ることができて望ましい。

【0037】

かような黄色フィルタめがねは、普段には、透明状態であり、カメラで撮影した映像において、青色ＱＲコードが検出された場合には、黄色に変色される可変フィルタであることが望ましい。かような可変色フィルタは、例えば、ＬＣＤ方式の透明ディスプレイでもって具現化することができる。また、黄色に変わる部分は、着用者の視野において、ＱＲコードが占める領域だけ変わるようにすることが望ましい。

【0038】

かような青色ＱＲコードは、例えば、部屋の壁面、天井や床にぎっしりと多数付着され、めがね型ディスプレイを着用することにより、部屋全体に増強現実を具現化することができる。また、掃除ロボットのようなロボットのカメラにおいて、ＱＲコードを認識し、自体の位置を認識して自律走行を行うこともできる。かような青色ＱＲコードは、既存の黒ＱＲコードより肉眼により目立たないので、肉眼に対する視覚的不都合を緩和させることができる。また、普通の写真や絵に、青色ＱＲコードを半透明に合成すれば、ＱＲコードをさらに隠すことができる。

【0039】

実施形態２
前記実施形態１で生成した半透明ＱＲコード映像の特定カラー成分映像（例えば、青色成分映像）は、ＱＲコード映像と、普通映像の青色成分映像との合成映像である。そして、かような半透明ＱＲコード映像の特定カラー成分を除いた残りカラー成分映像（例えば、赤色成分映像及び緑色成分映像）は、普通映像である。かような半透明ＱＲコード映像（本実施形態においては、第２映像とする）に使用されたＱＲコード映像の反転された映像（黒白反転映像、negative image）を、特定カラー成分映像（例えば、青色成分映像）として映像（本実施形態においては、第１映像とする）を生成することができる。かような第１映像の特定カラー成分映像の残りカラー成分映像（例えば、赤色成分映像及び緑色成分映像）のピクセル値は、いずれも０にする。すなわち、第１映像は、青色映像であり、その内容は、黒白反転されたＱＲコードである映像である。かような第１映像と第２映像とをかわるがわる迅速にディスプレイに出力すれば、ＱＲコード映像を見ることなしに、普通映像だけ見ることができる。しかし、高速カメラでかようなディスプレイを撮影すれば、ＱＲコード映像を撮影することができ、映像処理手段でもってＱＲコードを検出することができる。

【0040】

撮影された映像からＱＲコードを検出することは、前記実施形態１で説明した方法と同一である。すなわち、撮影された映像の青色成分映像を二値化し、ＱＲコード映像を求めることができる。

【0041】

かような肉眼に見えないＱＲコードは、ＴＶ画面に出力し、ユーザがスマートフォンでそのＱＲコードを撮影し、現在放送中であるプログラムに係わる情報を得ることもできる。例えば、現在放送中である画面に見える商品に係わる情報を得ることができる。ＴＶ画面に出力される本来の動画の各フレーム映像を背景映像にし、ＱＲコードと毎瞬間ごとに合成してＴＶ画面に出力すれば、動画を背景に増強現実映像を合成することができる。それは、既存の増強現実映像が、静止映像を背景にすることより、優秀な機能である。例えば、ＴＶ中の鮫が画面外に飛び出す映像を増強現実映像として合成することもできる。

【0042】

本実施形態は、本発明の発明者の以前特許である大韓民国特許登録番号１０−２０１２−０１０９５８１号「ステレオ映像基盤映像処理システム」と類似しているものの、本実施形態のマークは、肉眼に見えないという長所がある。それに比べ、前記登録番号１０−２０１２−０１０９５８１号の技術は、マーク映像と普通映像とをかわるがわる出力するために、肉眼で画面を見れば、マークが普通映像を隠すという問題がある。

【0043】

実施形態３
前記実施形態２の第１映像及び第２映像を、偏光方式の三次元ディスプレイに、それぞれ右目に見える映像と、左目に見える映像とに出力することができる。

【0044】

偏光方式の三次元ディスプレイは、ディスプレイ画面を多数の細い水平線領域に分け、偶数番目領域と奇数番目領域とに、それぞれ互いに異なる偏光フィルタを付着させた形態である。かようなディスプレイに、偶数番目領域には、右目に見える映像を出力し、奇数番目領域には、左目に見える映像を出力し、両目にそれぞれ互いに異なる偏光フィルタのめがねを着用すれば、両目に互いに異なる映像を見ることができる。

【0045】

偏光方式の三次元ディスプレイの他の例として、三次元劇場に使用するビームプロジェクタがある。かようなビームプロジエクタは、ステレオ映像の両目に見える映像を、互いに異なる偏光でかわるがわるスクリーンに投射する方式である。かようなビームプロジェクタを介して、前記実施形態２の第１映像及び第２映像を、かわるがわる互いに異なる偏光でスクリーンに投射することができる。

【0046】

カメラレンズの前に、第１映像の偏光だけ通過させる偏光フィルタを付着させ、かような偏光方式の三次元画面を撮影すれば、第１映像のＱＲコードを容易に検出することができる。偏光めがねを着用していない場合は、第１映像と第２映像とをいずれも見ることになるので、ＱＲコード映像を見ることができない。すなわち、偏光めがねを着用していない場合は、ＱＲコードがない本来の普通映像だけ見ることができる。
［発明の項目］
［項目１］
マーク映像及び普通映像を含むカラー映像において、
前記カラー映像の特定カラー成分映像のマーク映像の境界線のコントラストは、
前記カラー映像の特定カラー成分映像の普通映像の境界線のコントラストより大きいが、
前記普通映像の境界線は、前記マーク映像の境界線から臨界距離以内に分布する境界線であり、
前記臨界距離は、マーク映像の境界線のセルの横サイズまたは縦サイズのうち小さい方の半分以上であることを特徴とする半透明マーク映像。
［項目２］
前記特定カラーは、三原色のうち一つであることを特徴とする項目１に記載の半透明マーク映像。
［項目３］
前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像のマーク映像のコントラストは、
前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像の普通映像のコントラストより小さいか、
前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像には、マーク映像が含まれないことを特徴とする項目１に記載の半透明マーク映像。
［項目４］
普通映像の特定カラー成分映像のコントラストが、マーク映像のコントラストより大きくないように減らす段階と、
前記コントラストが減った映像に、マーク映像を合成する段階と、
前記合成された映像の明るさまたはコントラストを、印刷可能またはディスプレイに出力可能な範囲で調節する段階と、
を含む半透明マーク映像合成方法。
［項目５］
前記マーク映像のピクセル値の最大値と最小値は、絶対値が同じであり、符号が異なる値であることを特徴とする項目４に記載の半透明マーク映像合成方法。
［項目６］
前記コントラストが減った映像にマーク映像を合成する段階の合成は、
２映像の加算映像を生成することを特徴とする項目４に記載の半透明マーク映像合成方法。
［項目７］
特定カラーのマーク映像及び普通映像を含む半透明マーク映像の特定カラー成分映像を抽出する段階と、
前記抽出された特定カラー成分映像を二値化する段階と、
を含むことを特徴とする半透明マーク検出方法。
［項目８］
特定カラー成分映像を抽出する段階は、
特定カラー成分映像から、前記特定カラー成分映像を除いたカラー成分映像を暗く調節した映像を差し引いた映像を求めることを含むことを特徴とする項目７に記載の半透明マーク検出方法。
［項目９］
カラー映像において、
マーク映像を特定カラー成分映像に含む第１映像と、
前記マーク映像の反転映像を、前記特定カラー成分映像に含み、普通映像を含む第２映像と、
を含み、
第１映像と第２映像は、かわるがわるディスプレイに出力されるか、あるいは互いに異なる偏光で同時にまたはかわるがわるディスプレイに出力される映像であることを特徴とする透明マーク映像。
［項目１０］
第１映像に含まれたマーク映像のコントラストは、
第２映像に含まれたマーク映像の反転映像のコントラストと同じであることを特徴とする項目９に記載の透明マーク映像。
［項目１１］
前記特定カラーは、三原色のうち一つであることを特徴とする項目９に記載の透明マーク映像。
［項目１２］
マーク映像を特定カラー映像に変換して第１映像を生成する段階１と、
前記マーク映像の反転映像を、前記特定カラー映像に変換した後、普通映像の特定カラー映像と合成する段階２と、
前記段階２の合成された映像がディスプレイに出力可能になるように、明るさまたはコントラストを調節する段階３と、
第１映像のマーク映像の明るさまたはコントラストが、前記段階３において、明るさまたはコントラストが調節された映像が含む反転されたマーク映像の明るさまたはコントラストと同じように調節する段階４と、
前記段階３において、明るさまたはコントラストが調節された映像と、普通映像の残りカラー成分映像とから第２映像を生成する段階５と、
を含むことを特徴とする透明マーク映像合成方法。
［項目１３］
ディスプレイに出力された第１映像及び第２映像において、
該第１映像を獲得する段階と、
獲得された第１映像から特定カラー成分映像を抽出する段階と、
抽出された特定カラー成分映像を二値化する段階と、
を含み、
該第１映像は、特定カラーのマーク映像を含み、
該第２映像は、特定カラーのマーク映像の反転映像と普通映像とを含み、
前記第１映像と第２映像は、かわるがわるディスプレイに出力されるか、あるいは互いに異なる偏光でディスプレイに出力されることを特徴とする透明マーク検出方法。
［項目１４］
第１映像を獲得する段階は、
出力される映像のカラー変化を調査し、特定カラーだけ周期的に含む映像を第１映像に選択するか、
特定偏光映像だけ第１映像に選択する段階を含むことを特徴とする項目１３に記載の透明マーク検出方法。

【図1】

【図2】

【図3】