(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2015-530004(P2015-530004A)
(43)【公表日】2015年10月8日
(54)【発明の名称】画像生成方法
(51)【国際特許分類】
H04N 9/75 20060101AFI20150911BHJP
H04N 5/275 20060101ALI20150911BHJP
G06T 5/50 20060101ALI20150911BHJP
【FI】
H04N9/75
H04N5/275
G06T5/50
【審査請求】有
【予備審査請求】未請求
【全頁数】18
(21)【出願番号】特願2015-521933(P2015-521933)
(86)(22)【出願日】2012年7月20日
(85)【翻訳文提出日】2015年1月19日
(86)【国際出願番号】CN2012078920
(87)【国際公開番号】WO2014012242
(87)【国際公開日】20140123
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC,VN,ZA
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
2.BLUETOOTH
(71)【出願人】
【識別番号】515016732
【氏名又は名称】呉 豊嘉
【氏名又は名称原語表記】WU, Feng−Chia
(74)【代理人】
【識別番号】100117042
【弁理士】
【氏名又は名称】森脇 正志
(72)【発明者】
【氏名】呉 豊嘉
【テーマコード(参考)】
5B057
5C023
5C066
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057CE09
5B057CE16
5B057CF04
5B057CH11
5B057DA07
5B057DA08
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC09
5B057DC25
5C023AA17
5C023AA37
5C023AA38
5C023BA01
5C023BA11
5C023CA01
5C066AA12
5C066ED02
5C066EE01
5C066GB03
5C066HA03
5C066KG01
5C066KM01
(57)【要約】
【課題】画像生成方法を提供する。
【解決手段】画像生成方法は、単色画像と第1画像とを交互に表示する工程と、表示される単色画像と第1画像を背景にして撮影し処理を行うことにより、単色画像を背景とする第2画像を取得する工程と、第2画像における単色画像の部分を第1画像に置き換えて、第3画像を生成する工程と、を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
単色画像と第1画像とを交互に表示する工程(a)と、
表示される前記単色画像と前記第1画像とを背景にして撮影し処理を行うことにより、前記単色画像を背景とする第2画像を取得する工程(b)と、
前記第2画像における前記単色画像の部分を、前記第1画像に置き換えて、第3画像を生成する工程(c)と、を含むことを特徴とする画像生成方法。
【請求項2】
前記工程(a)は、時分割で、前記単色画像と前記第1画像とを交互に表示することを含む請求項1に記載の画像生成方法。
【請求項3】
前記工程(b)は、
前記単色画像の表示に対応するタイミングにおいて、表示された前記単色画像を背景として撮影することにより、前記単色画像を背景とする前記第2画像を取得することを含む請求項2に記載の画像生成方法。
【請求項4】
前記工程(a)は、
光学的分割で、前記単色画像と前記第1画像とを交互に表示することを含む請求項1に記載の画像生成方法。
【請求項5】
前記工程(b)は、
前記単色画像の表示に対応する光学的撮影方法で、表示された前記単色画像を背景として撮影することにより、前記単色画像を背景とする前記第2画像を取得することを含む請求項4に記載の画像生成方法。
【請求項6】
前記光学的分割方法は、偏光分割方法、周波数スペクトル分割方法、カラーフィルタ、空間分割多重法、時分割多重法、色差方式、レンズ方式、指向性光源法、視差遮蔽法、回折法、光屈折法又は視点分割法を含む請求項4に記載の画像生成方法。
【請求項7】
前記工程(b)は、
表示される前記単色画像と前記第1画像とを背景にして第4画像を撮影することと、
前記第4画像から前記単色画像を背景とする前記第2画像をフィルタ抽出することと、を含む請求項1に記載の画像生成方法。
【請求項8】
前記工程(a)は、
前記単色画像と前記第1画像を表示素子に交互に表示することを含む請求項1に記載の画像生成方法。
【請求項9】
前記工程(a)は、
前記単色画像と前記第1画像を投影スクリーンに交互に投影することを含む請求項1に記載の画像生成方法。
【請求項10】
撮影する際、インタラクティブ指令を検出することと、
前記インタラクティブ指令により、即時に前記第1画像を変更することと、を更に含む請求項1に記載の画像生成方法。
【請求項11】
前記工程(b)は、
表示される前記単色画像と前記第1画像を背景にして撮影して撮影画像を取得する工程(b1)と、
前記撮影画像から前記単色画像を背景とする前記第2画像を取り出す工程(b2)と、を含む請求項1に記載の画像生成方法。
【請求項12】
前記工程(a)において、交互に表示する周波数で実行し、
前記工程(b2)は、
前記交互に表示する周波数により、前記撮影画像から、前記単色画像が表示する際の少なくとも1つの単色画像の表示タイミングに撮影した複数の第1画面を取り出すことと、
前記第1画面を前記第2画像に統合することと、を含む請求項11に記載の画像生成方法。
【請求項13】
前記工程(b1)は、画面撮影周波数で前記撮影画像を撮影し、かつ前記画面撮影周波数が前記交互に表示する周波数の整数倍である請求項12に記載の画像生成方法。
【請求項14】
前記工程(a)と前記工程(b1)の実行タイミングを同期させることを更に含む請求項12に記載の画像生成方法。
【請求項15】
前記工程(a)と前記工程(b1)の実行タイミングを同期させることは、有線又は無線データ伝送通信プロトコルにより行われる請求項14に記載の画像生成方法。
【請求項16】
前記工程(a)と前記工程(b1)の実行タイミングを同期させることは、デジタル光処理(Digital Light Processing,DLP LINK)プロトコル、無線周波数(Radio Frequency,RF)、ブルートゥース(bluetooth)又は赤外線(Infrared,IR)により行われる請求項14に記載の画像生成方法。
【請求項17】
前記撮影画像に複数の撮影画面を含み、前記工程(b2)は、
前記撮影画面から、前記単色画像を背景とする複数の単色背景付き画面を選択することと、
前記単色背景付き画面を統合して、前記第2画像を生成することと、を含む請求項11に記載の画像生成方法。
【請求項18】
前記工程(a)は、
前記単色画像に所定標記を表示することを含み、
前記撮影画像に複数の撮影画面を含み、工程(b2)は、
前記撮影画面から、前記所定標記を有する複数の標記付き画面を選択することと、
前記標記付き画面を統合して、前記第2画像を生成することと、を含む請求項11に記載の画像生成方法。
【請求項19】
前記工程(a)において、前記単色画像における1つの所定領域に前記所定標記を表示し、
前記工程(b2)は、
前記撮影画面から、その前記所定領域に前記所定標記を有する複数の標記付き画面を選択することを含む請求項18に記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成方法に関し、特に画像における単色画像部分を置き換える画像生成方法に関する。
【背景技術】
【0002】
コンピュータの普及に従い、様々なイメージ、文字、画像、音声などのデータの製品又はサービスは、情報技術を用いて、デジタル化され統合的に応用されている。このため、ますます多くの人はデジタルコンテンツにより、講演、会議、授業などの活動が支えられている。
【0003】
このような活動のほとんどの場面では、撮影によりその活動状況を生放送又はビデオ放送で参加者に提示する必要がある。
図1を参照されたい。
図1は、従来技術において、デジタルコンテンツを用いて活動を撮影し、生成したビデオの模式図である。従来技術では、常にデジタルコンテンツ101と講演者102をそれぞれビデオ画面100の2つの区分に分けた所に配置する。しかしながら、このように撮影したビデオに、講演者102は、その手でデジタルコンテンツ101の対応する部分を直接指すことができないので、ビデオを見ている参加者に臨場感を与えることができない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
図2を参照されたい。
図2は、従来技術における、デジタルコンテンツを用いた活動の撮影場面の模式図である。この撮影方法では、講演者203は、単色カーテン201の前に位置し、撮影機202にて撮影される。そして、デジタルコンテンツを、単色カーテン201の区域に対応させ撮影したビデオに合成する。
【0005】
講演者203にデジタルコンテンツに対応した場所を認識させるためには、講演者203がすぐに合成されたビデオが見られるように、一般的に撮影の現場に表示素子204を設置する必要がある。しかしながら、デジタルコンテンツは、単色カーテン201に表示されず表示装置(モニター)204に表示されるので、講演者203の視線はしばしば傍に置かれた表示素子204に向くことになってしまう。そのため、ビデオを見る視聴者は、講演者の視線が不自然であると感じることがある。
【0006】
なお、講演者203が合成されたビデオの対象(例えば人物又は役者)とインタラクティブ(相互のやり取り)する必要がある際、この撮影方法では、講演者203とビデオの対象とのインタラクティブが不正確になるとともに講演者203の実演空間を制約することが多い。
【課題を解決するための手段】
【0007】
このため、本発明の一態様は、交互に表示された単色画面と第1画像を背景にして撮影し、単色画像を背景とする第2画像を取得するとともに、第2画像における単色画面の部分を第1画像に置き換える画像生成方法を提供する。画像生成方法は、単色画像と第1画像を交互に表示する工程(a)と、表示された単色画像と第1画像を背景として撮影し処理を行うことにより、単色画像を背景とする第2画像を取得する工程(b)と、第2画像における単色画像の部分を第1画像に置き換えて、第3画像を生成する工程(c)と、を含む。
【発明の効果】
【0008】
本発明を適用することにより、以下の利点を有する。講演者は、所定の表示位置に表示される背景画像を直視することができ、視線を傍に置かれた表示装置に向ける必要がない。そのため、講演者は、撮影した画像に自然な視線を向けられる。特に本発明の一実施例において、講演者は、表示位置に表示される画像とインタラクティブ(例えば画像に文字を書き、絵を描くことや、画像における対象とのインタラクティブ又は他の方法)を行う際、本発明を適用することにより、直接画像のコンテンツに対してインタラクティブ又は注釈を行うことで、講演者は正確にインタラクティブを行うことができる。
【0009】
なお、生成した画像のデジタルコンテンツは、優れた表示効果を有することができ、撮影環境の要因によりその表示効果に影響を与えることがない。
【図面の簡単な説明】
【0010】
本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするために、添付図面の説明は以下の通りである。
【0011】
【
図1】従来技術における、デジタルコンテンツによる活動を撮影して生成したビデオの模式図である。
【
図2】従来技術における、デジタルコンテンツによる活動の撮影場面の模式図である。
【
図3】本発明の一実施形態による画像生成方法のフローチャートである。
【
図4】
図3の画像生成方法を適用する場面の模式図である。
【
図6A】単色画像を背景とする第2画像の一実施例である。
【
図6B】第1画像で単色画像部分を置き換えた第3画像の一実施例である。
【発明を実施するための形態】
【0012】
以下、図面及び詳しい説明で本発明の思想を明らかにする。当業者であれば、本発明の好適な実施例を理解し、本発明に示された技術によって、本発明の思想と範囲から逸脱せずに、変更や修正を加えることができる。
【0013】
図3は、本発明の一実施形態による画像生成方法のフローチャートである。画像生成方法は、交互に表示された単色画面と第1画像とを背景にして撮影し、単色画像を背景とした第2画像を取得するとともに、第2画像における単色画面の部分を第1画像に置き換えるものである。画像生成方法は、実際にコンピュータプログラムを用い、コンピュータ読み取り可能な記録媒体に記憶されることにより、コンピュータがこの記録媒体を読み取ってから、実行することができる。コンピュータで読み取り可能な記録媒体は、読出し専用メモリー、フラッシュメモリ、フロッピー(登録商標)ディスク、ハードディスク、レーザーディスク(登録商標)、フラッシュドライブ、テープ、インターネットでアクセス可能なデータベース又は当業者が簡単に想到可能な同じ機能を有する読み取り可能な記録媒体であってもよい。
【0014】
図4は、
図3の画像生成方法を適用する場面の模式図である。
図3及び
図4を同時に参照されたい。画像生成方法300は、以下の工程を含む。工程310において、所定の背景表示位置401に単色画像と第1画像とを交互に表示する。工程310は、光学的分割多重、時分割多重、周波数スペクトル分割多重、空間分割多重又は他の分割多重方法により達成される。
【0015】
図5Aを参照されたい。
図5Aは、単色画像の一実施例である。単色画像501は、緑色、青色、透明又は他の単一色の単色画像であってもよい。本発明の別の実施例において、単色画像は、複数の単一色画像の区域を含んでもよい。本発明の更に他の実施例において、いずれの画像も表示せず、更に単色画像と第1画像とを表示する場所の背景を単色とすることにより、単色画像の表示を実現してもよい。なお、本発明の他の実施例において、他の方法で単色画像を表示してもよく、本開示に限定するものではない。
【0016】
図5Bを参照されたい。
図5Bは、第1画像の一実施例である。第1画像502は、少なくとも1つの文字502aを含んでもよい。そして、工程310の一実施例において、所定の背景表示位置401に、単色画像501と第1画像502を交互に表示する。
【0017】
他の実施例において、第1画像は、少なくとも1つの文字、少なくとも1つのイメージ、少なくとも1つのビデオ又は他のタイプのデジタルコンテンツ或いはそれらの組み合わせを含んでもよく、本開示に限定されるものではない。
【0018】
なお、工程310の一実施例において、所定の背景表示位置401に表示装置(例えばCRT画面、液晶画面又は他のタイプの表示装置)を設置し、単色画像と第1画像を表示装置に交互に表示してもよい。
【0019】
工程310の一実施例において、所定の背景表示位置401に、プロジェクタが単色画像と第1画像とを交互に投影するプロジェクタスクリーン又は他の投影可能な投影平面を設置してもよい。また短焦点プロジェクタを用いて所定の背景表示位置401に投影することができる。このように、短焦点プロジェクタを所定の背景表示位置401に近い箇所に設置することで、所定の背景表示位置401の前の講演者402が投影光路を遮蔽して、投影不良が発生することを防止することができる。
【0020】
なお、工程310の他の実施例として、他の方法により表示してもよく、本開示に限定されたものではない。
【0021】
工程320において、所定の背景表示位置401に表示された単色画像と第1画像とを背景にして撮影し処理を行い、単色画像を背景とする第2画像(
図6Aに示すように)を取得する。
【0022】
工程330において、第2画像における単色画像の部分(例えば
図6Aの601)を、第1画像に置き換えて、第3画像(例えば
図6Bに示すように)を生成する。クロマキー(chroma key)技術により単色画像の部分を除去するとともに、第1画像を第3画像のクロマキー処理された領域に合成し、工程330を達成することができる。
【0023】
このように、デジタルコンテンツを第1画像として所定の背景表示位置401に交互に表示する際、講演者402は、所定の背景表示位置401を直視することができ、視線を傍に置かれた表示装置に向ける必要がない。そのため、講演者402には、生成した第3画像に自然な視線を向けることができる。
【0024】
特に本発明の一実施例において、講演者402は、所定の背景表示位置401に表示された画像とインタラクティブ(例えば画像に文字を書き、絵を描くことと、画像における対象とのインタラクティブ又は他の方法)する必要がある場合、本発明を適用することにより、直接画像のコンテンツに対してインタラクティブ又は注釈を行って、講演者は正確にインタラクティブを行うことができる。
【0025】
なお、工程330において、第1画像とするデジタルコンテンツを、生成した第3画像に置き換えるため、第3画像に置き換えたデジタルコンテンツは、優れた表示効果を有することができ、撮影環境の要因が、その表示効果に影響を与えることがない。
【0026】
本発明の一実施例において、工程310は、時分割により、単色画像と第1画像を所定の背景表示位置401に交互に表示することができる。換言すれば、所定の背景表示位置401に単色画像と第1画像とを交互に表示することができる。
【0027】
次に、工程320は、単色画像の表示に対応したタイミングに、表示された単色画像を背景にして撮影することにより、単色画像を背景とする第2画像を取得することができる。撮影機403を用いて撮影する場合、撮影機403にアクティブシャッターを取り付けることができる。そして、アクティブシャッターは、第1画像を表示するタイミングに、撮影機403による撮影を遮蔽し、単色画像を表示するタイミングに、撮影機403による撮影を遮蔽しないことにより、撮影機403は単色画像を背景とした第2画像を撮影することができる。
【0028】
なお、本発明は、光学的分割により、単色画像と第1画像とを交互に表示することができる(工程310)。光学的分割方法は、偏光分割、周波数スペクトル分割、カラーフィルタ、空間分割多重、時分割多重、色差方式、レンズ方式、指向性光源法、視差遮蔽法、回折法、光屈折法、視点分割法又は他の光学的分割方法であってもよい。そして、工程320は、単色画像の表示に対応して光学的撮影する方法を採用することにより、表示された単色画像を背景にして撮影し、単色画像を背景とする第2画像を取得することができる。
【0029】
実際に、工程310において、異なる光学特性により、単色画像と第1画像とを所定の背景表示位置401に交互に表示することができる。換言すれば、所定の背景表示位置401に、異なる光学特性を用いて単色画像と第1画像とを表示することができる。
【0030】
次に、工程320において、撮影する撮影機403は、単色画像表示を撮影することができる光学特性を有することにより、表示される単色画像を背景とする場面を撮影することができる。例を挙げると、撮影機403に単色画像の表示に対応する光学特性の偏光レンズ、周波数スペクトルレンズ、色レンズ、視差遮蔽レンズ、回折レンズ又は他の光学特性のレンズを取り付けることができ、それにより、撮影機403は、単色画像の表示のみを撮影可能な光学特性を有する。
【0031】
また、工程320の別の実施例において、表示される単色画像と第1画像を背景として第4画像を撮影することができる。次に、第4画像から単色画像を背景とする第2画像をフィルター抽出する。例えば、第4画像から第1画像の表示タイミングに対応した画像をフィルター抽出して、単色画像を背景とする第2画像を生成することができる。
【0032】
本発明の別の幾つかの実施例において、工程310において交互に表示する周波数で、単色画像と第1画像を所定の背景表示位置に交互に表示することができる。そして、工程320の幾つかの実施例において、交互に表示する周波数により、撮影した画像から、単色画像が表示されるタイミングに撮影した複数の第1画面を取り出すことができる。
【0033】
次に、取り出した第1画面を第2画像に統合して、工程330で更に処理することができる。例を挙げると、工程310において、交互に表示する周波数が60Hzである場合、例えば単色画像は0〜1/60sec、2/60sec〜3/60sec、4/60sec〜5/60secにおいて表示され、第1画像は1/60sec〜2/60sec、3/60sec〜4/60sec、5/60sec〜6/60secにおいて表示される。
【0034】
そして、撮影画像から、単色画像の表示タイミング(0〜1/60sec、2/60sec〜3/60sec、4/60sec〜5/60sec)に撮影した第1画面を取り出し、第2画像に統合することができる。
【0035】
工程320の画面の撮影周波数は、工程310において交互に表示する頻度の整数倍であってもよい。本実施例において、上記第1画面を取り出すように、120Hzの画面撮影周波数(即ち、交互に表示する周波数60Hzの2倍)で、工程320における撮影を行うことができる。
【0036】
なお、有線又は無線のデータ伝送通信プロトコルにより、先に工程310と工程320の実行タイミングを同期させることができる。同期するための有線又は無線データ伝送通信プロトコルは、デジタル光処理(Digital Light Processing,DLP LINK)プロトコル、無線周波数(Radio Frequency,RF)、ブルートゥース(bluetooth)、赤外線(Infrared,IR)又は他の同期するためのプロトコルであってもよい。
【0037】
工程320の別の幾つかの実施例において、撮影した画像の複数の画面から、単色画像を背景とする複数の単色背景付き画面を選択することができる。そして、単色背景付き画面を統合して、第2画像を生成することができる。
【0038】
本発明の更に他の実施例において、工程310において、単色画像に所定の標記を表示することができる。表示される所定標記は、少なくとも1つの所定文字、イメージ、単色画像又は他のタイプの標記であってもよい。そして、工程320は、撮影した撮影画像の複数の撮影画面から、所定標記を有する複数の標記付き画面を選択する工程を含んでもよい。換言すれば、撮影した画像の撮影画面に所定標記を有するかどうかを一つずつ検出して、所定標記を有する画面を取り出すことができる。
【0039】
なお、本発明の幾つかの実施例において、工程310は、所定標記を単色画像の所定領域に表示することができ、よって、工程320においてこの所定領域を検出し、所定標記を有する画面を取り出すことができる。
【0040】
次に、標記付き画面を統合して、第2画像を生成する。このように、特に工程310において交互に表示する周波数又は工程320の撮影周波数を調整又は設定を必要とせず単色画像を背景とする画像を取り出すことができる。
【0041】
なお、画像生成方法は、更に以下の工程を含んでもよい。撮影する際、インタラクティブ指令を検出する。次に、インタラクティブ指令により、即時に工程310で交互に表示された第1画像を変更する。
【0042】
このように、本発明のを適用する場面において、即時に第1画像に出現する内容を変更することができ、講演者402が第1画像の既存の内容に限定されなく、その講演内容が一層柔軟性を有することになる。
【0043】
上記の本発明の実施形態から分かるように、本発明を適用することにより、以下の利点を有する。講演者は、所定の背景表示位置に表示する画像を直視することができ、視線を傍に置かれた表示装置に向ける必要がない。そして、講演者が撮影した画像に、自然な視線を向けられる。特に本発明の一実施例において、講演者は、表示位置に表示される画像とインタラクティブ(例えば画像に文字を書き、絵を描くことや、画像における対象とのインタラクティブ又は他の方法)を行う際、本発明を適用することにより、直接画像のコンテンツに対してインタラクティブ又は注釈を行って、講演者は正確にインタラクティブを行うことができる。
【0044】
なお、生成した画像におけるデジタルコンテンツは、優れた表示効果を有することができ、撮影環境の要因が、その表示効果に影響を与えることがない。
【0045】
本発明の実施形態を前述の通りに開示したが、これは、本発明を限定するものではなく、当業者なら誰でも、本発明の思想と範囲から逸脱しない限り、多様の変更や修正を加えることができ、したがって、本発明の保護範囲は、下記添付の特許請求の範囲で指定した内容を基準とするものである。
【符号の説明】
【0046】
100 ビデオ画面
101 デジタルコンテンツ
102 講演者
201 単色カーテン
202 撮影機
203 講演者
204 表示素子
300 画像生成方法
310〜330 工程
401 所定の背景表示位置
402 講演者
403 撮影機
501 単色画像
502 第1画像
502a 文字
601 第2画像における単色画像の部分
【国際調査報告】