特表 2023-538671 ＬＥＤタイルディスプレイの撮像画像におけるアーチファクトの除去

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-08

(54)【発明の名称】ＬＥＤタイルディスプレイの撮像画像におけるアーチファクトの除去

(51)【国際特許分類】

   H04N 23/745 20230101AFI20230901BHJP

   H04N 23/73 20230101ALI20230901BHJP

   H04N 23/60 20230101ALI20230901BHJP

   G03B 15/00 20210101ALI20230901BHJP

【ＦＩ】

H04N23/745

H04N23/73

H04N23/60

G03B15/00 F

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023513121

(86)(22)【出願日】2021-08-18

(85)【翻訳文提出日】2023-04-13

(86)【国際出願番号】 US2021046484

(87)【国際公開番号】W WO2022040300

(87)【国際公開日】2022-02-24

(31)【優先権主張番号】17/320,135

(32)【優先日】2021-05-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/706,500

(32)【優先日】2020-08-20

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522402450

【氏名又は名称】エイチツーヴィアール ホールドコ，インコーポレイテッド

【氏名又は名称原語表記】Ｈ２ＶＲ ＨｏｌｄＣｏ，Ｉｎｃ．

【住所又は居所原語表記】３４０ Ｓ．Ｌｅｍｏｎ Ａｖｅｎｕｅ， Ｗａｌｎｕｔ， ＣＡ ９１７８９ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100136319

【弁理士】

【氏名又は名称】北原 宏修

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】ジェレミー ホックマン

(72)【発明者】

【氏名】クリストファー エス． バーン

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA02

5C122EA13

5C122FF11

5C122FK37

5C122FK38

5C122FK40

5C122GE27

5C122HB02

5C122HB05

(57)【要約】

パルス幅変調（ＰＷＭ）制御を用いてビデオディスプレイから動画を撮影するシステムおよび方法が開示される。特に、カメラシャッター／露光タイミングと表示ＰＷＭ制御信号のタイミングとの間の非同期相互作用に起因して、撮影動画に現れるアーチファクトを低減または除去するように、表示タイミングとカメラタイミングとを同期させるシステムおよび方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＰＷＭ制御信号によって駆動される少なくとも１つのディスプレイを含むシーンを撮像する方法であって：
初期時間に前記ＰＷＭ制御信号がオフに設定された状態で初期時間に撮像装置を用いて撮像を開始すること；
前記撮像装置の第１の部分シャッター期間の後に前記ＰＷＭ制御信号をオンに設定すること；
前記撮像装置の開シャッター期間中にＰＷＭ制御信号をオンに維持すること；
前記撮像装置の第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定すること；および
一連の撮像フレームを通して前記ＰＷＭ制御信号の前記設定および維持を繰り返すことを備える、方法。

【請求項2】

前記撮影された各フレームの間、前記撮像装置の閉シャッター期間の間、前記ＰＷＭ制御信号をオフに維持することをさらに備える、請求項１に記載の方法。

【請求項3】

前記撮影された各フレームの間、前記撮像装置の閉シャッター期間の全部または一部の間、前記ＰＷＭ制御信号をオンに設定することをさらに備える、請求項１に記載の方法。

【請求項4】

部分シャッター期間後に前記ＰＷＭ制御信号をオンに設定することは、
初期時間以降の初期同期遅延時間で前記ＰＷＭ制御信号をオンに設定すること；
撮影画像内の前縁アーチファクトの有無を識別すること；および
前縁アーチファクトが存在する場合、前記撮影画像内で前縁アーチファクトが低減または除去されるまでの同期遅延時間を増加させることを備える、請求項１、２または３に記載の方法。

【請求項5】

部分シャッター期間後に前記ＰＷＭ制御信号をオンに設定することは、前縁アーチファクトが存在しないとき、前縁アーチファクトが前記撮影画像に現れるまで前記同期遅延時間を減少させた後、前記同期遅延時間を、前記撮影画像にアーチファクトが現れた前記同期遅延時間よりも大きい値に増加させることをさらに備える、請求項４に記載の方法。

【請求項6】

第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定することは、
前記同期遅延時間に続く初期同期オン時間後に前記ＰＷＭ制御信号をオフに設定すること；
前記撮影画像における後縁アーチファクトの有無を識別すること；および
前記後縁アーチファクトが存在する場合、前記撮影画像において後縁アーチファクトが低減または除去されるまで、前記同期オン時間を減少させることを備える、請求項４に記載の方法。

【請求項7】

第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定することは、後縁アーチファクトが存在しない場合、後縁アーチファクトが前記撮影画像に現れるまで前記同期オン時間を増加させ後、前記同期オン時間を、前記撮影画像にアーチファクトが現れた前記同期オン時間よりも小さい値に減少させることをさらに備える、請求項６に記載の方法。

【請求項8】

前記設定および維持のステップは、
前記初期時間に始まる初期同期遅延時間中に第１の静止色を前記少なくとも１つのディスプレイ上に表示すること；
前記初期同期遅延時間の後に始まる初期同期オン時間中に第２の静止色を前記少なくとも１つのディスプレイ上に表示すること；
前記初期同期オン時間の後に前記少なくとも１つのディスプレイ上に第３の静止色を表示すること；
前記第１および第３の静止色が前記少なくとも１つのディスプレイの前記撮影画像に現れなくなるまで、前記初期同期遅延時間および前記初期同期オン時間を調整すること；
前記同期遅延時間として、前記撮影画像に前記第１の静止色が現れない初期同期遅延時間を選択すること；
前記同期オン時間として、前記撮影画像に前記第３の静止色が現れない初期同期オン時間を選択すること；
前記同期遅延時間の後に前記ＰＷＭ制御信号をオンに設定すること；
前記同期オン時間の後に前記ＰＷＭ制御信号をオフに設定すること；
前記同期オン時間中に前記ＰＷＭ制御信号をオンに維持すること；および
前記同期オン時間中に前記第２の静止色を所望のビデオフィードに変更することを備える、請求項１、２または３のいずれかに記載の方法。

【請求項9】

第２の初期時間において第２の撮像装置で撮像を開始し、前記第２の初期時間は、第１の撮像装置の前記第２の部分シャッター時間の後に開始すること；
前記第２の撮像装置の第１の部分シャッター期間の後に前記ＰＷＭ制御信号をオンに設定すること；
前記第２の撮像装置の開シャッター期間中に前記ＰＷＭ制御信号をオンに維持すること；
前記第２の撮像装置の第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定すること
をさらに備える、請求項１、２または３のいずれかに記載の方法。

【請求項10】

前記第１の撮像装置の前記第１の部分シャッター期間を前記第２の撮像装置の前記第２の部分シャッター期間と合わせることをさらに備える、請求項９に記載の方法。

【請求項11】

前記第１および第２の撮像装置はそれぞれ、第１および第２の総シャッター期間を有し、
前記方法は、前記第１および第２の総シャッター期間の間で一定の位相オフセットを維持することをさらに備える、請求項１０に記載の方法。

【請求項12】

前記第１の撮像装置は、前記第２の撮像装置の開シャッター期間中に閉シャッター期間である、請求項１０に記載の方法。

【請求項13】

前記第１の撮像装置の閉シャッター期間を前記第２の撮像装置の閉シャッター期間と合わせること；および
合わせされた閉シャッター期間中に前記ＰＷＭ制御信号をオンに設定することをさらに備える、請求項１２記載の方法。

【請求項14】

各撮像フレームを複数のタイムスライスに分割すること；
前記部分シャッター期間と全体的にまたは部分的に整合されたタイムスライス中に前記ＰＷＭ制御信号をオフに設定すること；および
前記開シャッター期間と全体的にまたは部分的に整合されたタイムスライス中に前記ＰＷＭ制御信号をオンに設定することをさらに備える、請求項１、２または３のいずれかに記載の方法。

【請求項15】

前記タイムスライスは時間長が等しく、各撮像フレーム内に整数のタイムスライスがある、請求項１４に記載の方法。

【請求項16】

少なくとも１つの撮像装置を用いてＰＷＭ制御信号によって駆動される少なくとも１つのディスプレイを含むシーンを撮像する方法であって、
前記撮像装置は、少なくとも１つの部分シャッター期間、開シャッター期間、および閉シャッター期間を含む各フレームを有するフレームで画像を撮影し、
前記方法は、
各フレームを複数のタイムスライスに分割すること；
前記部分シャッター期間の全体または一部に整列されたタイムスライスの間、前記ＰＷＭ制御信号をオフに設定すること；
開シャッター期間の全体または一部に整列されたタイムスライス中に前記ＰＷＭ制御信号をオンに設定すること；
前記ＰＷＭ制御信号設定で撮像を開始すること；および
一連の撮像フレームを通して前記ＰＷＭ制御設定を維持することを備える、方法。

【請求項17】

前記タイムスライスは時間長が等しく、各撮像フレーム内に整数のタイムスライスがある、請求項１６に記載の方法。

【請求項18】

前記閉シャッター期間と合わせられたタイムスライス中に前記ＰＷＭ制御信号をオンに設定することをさらに備える、請求項１６または請求項１７に記載の方法。

【請求項19】

前記ＰＷＭ制御信号は、開シャッター期間と全体的に合わせられたタイムスライスの間のみ、または、開シャッター期間と全体的に合わせられたタイムスライスの間のみ、オンに設定される、請求項１６または請求項１７に記載の方法。

【請求項20】

少なくとも１つの撮像装置を用いて少なくとも１つのディスプレイを含むシーンを撮像する方法であって：
初期時間に始まる同期遅延時間中に第１の静止色を少なくとも１つのディスプレイ上に表示すること；
前記同期遅延時間の後に始まる同期オン時間中に第２の静止色を少なくとも１つのディスプレイ上に表示すること；
前記同期オン時間後に少なくとも１つのディスプレイ上に第３の静止色を表示すること；
前記少なくとも１つのディスプレイの画像を前記撮像装置で撮影すること；
前記第１および第３の静止色が少なくとも１つのディスプレイの撮影画像に現れなくなるまで、前記同期遅延時間および前記同期オン時間を調整すること；
所望のビデオフィードの前記第２の静止色を変更すること；および
前記所望のビデオフィードを表示する少なくとも１つのディスプレイを含むシーンを撮影することを備える、方法。

【請求項21】

前記少なくとも１つのディスプレイは、ＰＷＭ制御信号によって駆動されるディスプレイを備え、前記撮像装置は、少なくとも１つの部分シャッター期間、開シャッター期間、および閉シャッター期間を含む各フレームを有するフレームで画像を撮影する、請求項２０に記載の方法。

【請求項22】

シーンの動画を撮影するように構成された撮像装置であって、一連のフレーム内の画像を撮影するシャッター機構を備え、各フレームは、部分シャッター期間に先行し、その後に続く開シャッター期間を含む撮像装置；
前記撮像装置によって撮像された前記シーン内の画像を表示するように構成された発光表示面と、ＰＷＭ制御信号を用いて発光表示面を駆動するように構成されたドライバとを含むシステム表示装置：
前記撮像装置の部分シャッター期間中に前記ＰＷＭ制御信号をオフに設定し、前記ＰＷＭ制御信号を、前記撮像装置の開シャッター期間中にオンに設定する制御装置；
を備える、撮像システム。

【請求項23】

前記制御装置は、
各撮像フレームを複数のタイムスライスに分割し；
前記部分シャッター期間と全体的にまたは部分的に整列されたタイムスライス中に前記ＰＷＭ制御信号をオフに設定し、
前記開シャッター期間と全体的にまたは部分的に整列されたタイムスライス中に前記ＰＷＭ制御信号をオンに設定する、
請求項２２に記載のシステム。

【請求項24】

前記制御装置は、
少なくとも１つのマイクロプロセッサ；および
前記少なくとも１つのマイクロプロセッサと動作可能に通信するメモリを備え、前記メモリは機械実行可能命令を含み、前記機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、
撮像開始時に初期時間を設定し；
前記初期時間に始まる同期遅延時間を使用者が設定することができるようにさせ；
前記同期遅延時間の後に始まる同期オン時間を前記使用者が設定することができるようにさせ；
前記初期時間に始まる前記同期遅延時間のＰＷＭ制御信号をオフにし；
前記同期遅延時間の後に前記同期オン時間の前記ＰＷＭ制御信号をオンし；
前記同期オン時間の後に前記ＰＷＭ制御信号をオフにし；
各撮像フレームの終了時に前記初期時間をリセットする、
請求項２２または２３に記載のシステム。

【請求項25】

前記メモリは機械実行可能命令をさらに含み、前記機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、
同期遅延時間値および同期オン時間値のユーザ入力を可能にする少なくとも第１のＧＵＩ領域を有するグラフィカル・ユーザ・インターフェイス（ＧＵＩ）を、ユーザインターフェイス表示装置に表示する
請求項２４に記載のシステム。

【請求項26】

前記メモリは機械実行可能命令をさらに含み、前記機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、
前記撮像装置によって撮影された画像を表示する少なくとも第２のＧＵＩ領域を有するＧＵＩを表示し；
前記第１ＧＵＩ領域内に
前記同期遅延時間中にビデオフィードまたは第１の静止色を前記システム表示装置に表示するユーザ選択可能オプション；
前記同期遅延時間の後に始まる同期オン時間中にビデオフィードまたは第２の静止色を前記システム表示装置に表示するユーザ選択可能オプション；および
前記同期オン時間の後にビデオフィードまたは第３の静止色を前記システム表示装置に表示するユーザ選択可能オプションを存在させ：
それによって、前記少なくとも１つのディスプレイの撮影画像に前記第１および第３の静止色が現れなくなるまで前記同期遅延時間および前記同期オン時間を調整することにより、前記撮像装置の各撮像フレームにおける初期部分シャッター期間および前記シャッター開期間に対応する同期遅延時間を識別する
請求項２５に記載のシステム。

【請求項27】

前記メモリは機械実行可能命令をさらに含み、前記機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、
各撮像フレームを複数のタイムスライスに分割し、
前記ＰＷＭ制御信号をタイムスライスによりオンまたはオフに設定する、
請求項２４に記載のシステム。

【請求項28】

前記撮像装置の各フレームは、シャッター閉期間をさらに含み；
前記メモリは機械実行可能命令をさらに含み、前記機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、
使用者が、閉シャッター期間内に収まるタイムスライスの前記ＰＷＭ制御信号をオンまたはオフの状態に設定することができるようにさせ、
閉シャッター期間中にＰＷＭ状態がオンに設定されたときに、前記使用者が静止画像またはディスプレイのビデオフィードを選択することができるようにさせ、
前記表示装置は発光タイルのアレイを備え、各タイルは、前記タイルのＰＷＭドライバとして構成されたタイル制御を有し、前記少なくとも１つのタイルマイクロプロセッサと、少なくとも１つのタイルマイクロプロセッサと動作可能に通信するタイルメモリとを含み、前記タイルメモリは機械実行可能命令を含み、前記機械実行可能命令は、前記少なくとも１つのタイルマイクロプロセッサによって実行されると、前記使用者によって選択されたときに前記タイルに静止画像を表示する、
請求項２７に記載のシステム。

【請求項29】

前記撮像装置の各フレームは、シャッター閉期間をさらに含み；
前記制御装置は、使用者が、前記シャッター閉期間中に前記ＰＷＭ信号をオンまたはオフに設定することができるようにする、
請求項２２または２３に記載のシステム。

【請求項30】

前記システム表示装置は、３次元（３Ｄ）発光ディスプレイボリュームを含み、
前記３次元（３Ｄ）発光ディスプレイボリュームは、継ぎ目のない３Ｄボリュームディスプレイウォールを形成するタイルエッジに沿って接合される発光タイルの３次元アレイを含み、前記タイルは、それぞれ前記タイルごとに固有のＰＷＭドライバを含み、
前記撮像装置は、前記シャッター機構で電子的に構成されるデジタル画像センサを有する少なくとも１つのカメラを含む、
請求項２２または２３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願情報）
本出願は、２０２０年８月２０日に出願された「Elimination of Artifacts in Captured Images of LED Tile Displays」という名称の米国仮特許出願第６２／７０６，５００号の優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、ＬＥＤディスプレイおよび動画撮影の分野に関する。特に、本開示は、撮像装置におけるシャッタータイミングから生じるアーチファクトを最小限に抑えるかまたは排除しながら、パルス幅変調（ＰＷＭ）駆動ディスプレイの動画撮影を行うためのシステムおよび方法を対象とする。

【背景技術】

【0003】

動画撮影は、「ローリングシャッター」を採用したカメラを用いてしばしば行われる。ローリングシャッターでは、単一のフレームで撮影されるシーンをシャッターが横切って走査する。このタイプの撮像は、デジタルカメラにおいて電子的に再現することができる。また、グローバルシャッターは、シャッター速度設定に応じて、ローリングシャッターのような効果を受けることがある。動画撮影では、一般的なシャッタースピードは１８０度であり、それは３６０度の回転サイクルのうち１８０度がカメラセンサを露出させることを意味する。

【0004】

このタイプのカメラデバイスを用いて動画像を撮影するとき、ＬＥＤディスプレイタイルは、アーチファクトなしに適切に撮影することが困難であり得る。これは、カメラの露光サイクルに対して非常に異なる速度で、ＬＥＤパルスを用いたパルス幅変調（ＰＷＭ）制御を用いるからである。ＬＥＤパルスは極めて急速であり、走査型シャッターが完全に開いている間は、部分的にしかリフレッシュすることができないことが多い。他のタイプのＰＷＭ駆動ディスプレイでも同じ課題が存在する。

【0005】

典型的には、ＬＥＤは、１つのグループ内にわずか４個のＬＥＤ、または、３２個以上のＬＥＤを有する多重化走査グループに分類される。これは、ＰＷＭ制御の結果として、ＬＥＤの４分の１（１／４）～３２分の１（１／３２）のみが、任意の時点で点灯することを意味している。したがって、カメラシャッターとＬＥＤの走査グループとの位置が合っていない場合、以下の図１１に示されるように、カメラ出力にパルシングまたはバンディングアーチファクトを生じるおそれがある。（図１１の撮影画像では、ここでの説明を明確にする目的で、アーチファクトをより明瞭にするために、カメラは約１１度のシャッター角度に設定されていたことに留意されたい）。

【0006】

テレビジョンおよび映画の制作時の背景としてＬＥＤディスプレイウォールを用いることが多くなるにつれて、改善された撮像を提供すると共に、高品質撮影画像を達成するために必要なコンピューティングリソースを低減する新しい解決策が必要とされる。

【発明の概要】

【0007】

一実装形態では、本開示は、ＰＷＭ制御信号によって駆動される少なくとも１つのディスプレイを含む、シーンの撮像方法を対象とする。本方法は、初期時間にＰＷＭ制御信号がオフに設定された状態で初期時間に撮像装置を用いて撮像を開始すること、撮像装置の第１の部分シャッター期間の後にＰＷＭ制御信号をオンに設定すること、撮像装置の開シャッター期間中にＰＷＭ制御信号をオンに維持すること、撮像装置の第２の部分シャッター期間またはその前にＰＷＭ制御信号をオフに設定すること、一連の撮像フレームを通してＰＷＭ制御信号の各設定および維持を繰り返すことを含む。

【0008】

別の実装形態では、本開示は、少なくとも１つの撮像装置を用いてＰＷＭ制御信号によって駆動される少なくとも１つのディスプレイを含むシーンを撮像する方法を対象とする。ここで、撮像装置は、各フレームが少なくとも１つの部分シャッター期間、開シャッター期間、および閉シャッター期間を含むフレームで画像を撮影する。本方法は、各フレームを複数のタイムスライスに分割すること、部分シャッター期間と全体的にまたは部分的に整列されたタイムスライス中にＰＷＭ制御信号をオフに設定すること、開シャッター期間と全体的にまたは部分的に整列されたタイムスライス中にＰＷＭ制御信号をオンに設定すること、ＰＷＭ制御信号設定で撮像を開始すること、一連の撮像フレームを通してＰＷＭ制御設定を維持することを含む。

【0009】

さらに別の実装形態では、本開示は、少なくとも１つの撮像装置を用いて、少なくとも１つのディスプレイを含むシーンを撮像する方法を対象とする。本方法は、少なくとも１つのディスプレイ上に、初期時間に始まる同期遅延時間中に第１の静止色を表示すること、同期遅延時間後に始まる同期オン時間中に第２の静止色を少なくとも１つのディスプレイ上に表示すること、同期オン時間の後に第３の静止色を少なくとも１つのディスプレイに表示すること、少なくとも１つのディスプレイの画像を撮像装置で撮影することと、少なくとも１つのディスプレイの撮影画像内に第１および第３の静止色が現れなくなるまで同期遅延時間および同期オン時間を調整すること、所望のビデオフィードの第２の静止色を変更すること、および、所望のビデオフィードを表示する少なくとも１つのディスプレイを含むシーンを撮影することを含む。

【0010】

さらに別の実装形態では、本開示は、撮像システムを対象とする。このシステムは、シーンの動画を撮影するように構成された撮像装置、システム表示装置および制御装置を含む。この撮像装置は、一連のフレーム内の画像を撮影するシャッター機構を備える。各フレームは、部分シャッター期間に先行し、その後に続く開シャッター期間を含む。システム表示装置は、撮像装置によって撮影されたシーン内の画像を表示するように構成された発光表示面と、ＰＷＭ制御信号を用いて発光表示面を駆動するように構成されたドライバとを含む。制御装置は、撮像装置の部分シャッター期間中にＰＷＭ制御信号をオフに設定し、撮像装置の開シャッター期間中にＰＷＭ制御信号をオンに設定する。

【0011】

さらに別の実装形態では、本開示は、少なくとも１つのＰＷＭ駆動表示装置を含むシーンの撮像中に、撮像装置の開シャッター期間を識別する方法を対象とする。本方法は、初期時間に始まる初期同期遅延時間中に第１の静止色を少なくとも１つのディスプレイに表示すること、初期同期遅延時間の後に始まる初期同期オン時間中に第２の静止色を少なくとも１つのディスプレイに表示すること、初期同期オン時間の後に第３の静止色を少なくとも１つのディスプレイに表示すること、少なくとも１つのディスプレイの画像を撮像装置で撮像すること、少なくとも１つのディスプレイの撮像画像に第１および第３の静止色が現れなくなるまで、初期同期遅延時間および初期同期オン時間を調整すること、調整後にディスプレイに第２の静止色が現れた時間を、撮像装置の開シャッター期間とすることを含む。

【図面の簡単な説明】

【0012】

本開示を説明する目的で、図面は、本開示の１つまたは複数の実施形態を示す。しかしながら、本開示は、図面に示される正確な配置および手段に限定されないことを理解されたい。

【図1】本明細書に開示される実施形態に係るシステムを概略的に示す。

【図1A】本明細書に開示される実施形態に係る別のシステムを概略的に示す。

【図2】本開示の一実施形態に係るＬＥＤタイルディスプレイのＰＷＭ制御のタイミングに対するシャッタータイミングを示すタイミング図である。

【図3A】本開示の実施形態に係るＰＷＭタイミングおよび同期制御方法の例を示すタイミング図である。

【図3B】本開示の実施形態に係るＰＷＭタイミングおよび同期制御方法の例を示すタイミング図である。

【図3C】本開示の実施形態に係るＰＷＭタイミングおよび同期制御方法の例を示すタイミング図である。

【図4】本開示の別の実施形態に係るＬＥＤタイルディスプレイのＰＷＭ制御タイミングに対する電子ローリングシャッターのタイミングを示すタイミング図である。

【図5】本開示に係るグラフィカルユーザインターフェイスの実施形態を示す。

【図6】同期遅延パラメータの直接時間制御を可能にするように構成されたユーザインターフェイスの別の実施形態を示す。

【図7】ＬＥＤタイルの概略側面図である。

【図8】本開示の別の実施形態におけるのと同様に、ＰＷＭ制御信号と複数のカメラの同期を示すタイミング図である。

【図9】本開示に係る３次元発光ディスプレイボリュームおよび２つの撮像装置を有する別の代替の実施形態の概略図である。

【図10】本開示に係るシステム、カメラ、またはディスプレイ制御装置の例を示すブロック図である。

【図11】ローリングシャッターの未補償使用に起因するアーチファクトを提示するＬＥＤタイルビデオディスプレイの撮像である。

【発明を実施するための形態】

【0013】

本開示は、パルス幅変調（ＰＷＭ）制御を用いるビデオディスプレイから動画を取り込むシステムおよび方法を説明する。開示されるシステムおよび方法では、カメラシャッター／露出タイミングと表示ＰＷＭ制御信号のタイミングとの間の非同期相互作用に起因して撮影画像に現れるアーチファクトが、表示オン・オフ時間を正確に制御することによって低減または除去される。本明細書に開示されるシステムおよび方法は、ビデオの各フレームを複数のサブフレーム区画（「タイムゾーン」）に分割または論理的に「スライス」する。また、各区画は、撮像装置のシャッター／露出タイミングに対して個別に制御され得る。その結果、撮像装置のシャッタータイミングに対するＰＷＭ信号を正確にタイミング制御することができる。

【0014】

当業者によって理解されるように、ＬＥＤディスプレイは例示目的で例示的な実施形態において本明細書で参照されるが、本開示の原理は、ＰＷＭ制御を採用する任意のタイプのディスプレイに等しく適用することができる。他のディスプレイタイプの例としては、有機発光ダイオード（ＯＬＥＤ）、ポリマー発光ダイオード（ＰＬＥＤ）、アクティブマトリクス発光ダイオード（ＡＭＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、または発光電気化学セル（ＬＥＣ）が挙げられるが、これらに限定されない。したがって、本開示および添付の特許請求の範囲の範囲は、例示的なＬＥＤ表示例に限定されない。

【0015】

図１は、本開示に係るシステムの一例における基本的な構成要素を示す。そこに示されるように、システム１００は、デジタル画像センサを有するビデオカメラなどの撮像装置１１０を含む。撮像装置１１０は、移動シーンを撮影するために用いられる。移動シーンは、カメラ視野(Ｂ)内にＬＥＤディスプレイ１１２内を含み、そのディスプレイの前で生じるプレゼンタ（１２６）または他のライブアクションシーンを任意選択で含み得る。ＬＥＤディスプレイ１１２は、ＬＥＤピクセルのアレイを含むパネルを組み立てることによって形成される大型ビデオディスプレイウォールを備えてもよい。そのような大型ＬＥＤビデオディスプレイウォールを構築して制御する基本技術は、当技術分野で一般に理解されている。本出願人により２０２０年１０月２６日に出願された「Unlimited Pixel Canvas For LED Video walls」という名称の国際出願第ＰＣＴ／ＵＳ２０２０／０５７３８５号には、構造および制御が改善された次世代の大型ＬＥＤビデオディスプレイウォールの実施形態が記載されており、その全体が参照により本明細書に組み込まれる。撮像装置１１０およびディスプレイ１１２は、それぞれカメラ制御装置１１４およびディスプレイ制御装置１１６によって制御される。各制御装置は、以下でより詳細に説明するように、１つまたは複数のプロセッサ、メモリ、ソフトウェア、通信手段、ＡＰＩ、および他の構成要素を備える。制御装置と被制御装置との間の双方向通信リンク１２０および１２２は、無線または有線であり得る。通信リンク１２４は、任意選択で、制御装置１１４と制御装置１１６との間に設けられてもよい。

【0016】

図１Ａは、別のシステム１００Ａの実施形態を示している。ここでは、撮像装置１１０およびディスプレイ１１２は、共通の制御装置１１８によって制御される。制御装置１１８は、制御装置１１４および１１６と概ね同じ方法で、本明細書で以下にさらに説明するように構成することができる。この場合も、無線または有線通信リンク１２０および１２２は、制御装置と被制御装置との間の双方向通信を提供する。

【0017】

以下の表１により、ビデオカメラ１１０などの撮像装置のシャッタータイミングの基本的な説明がなされる。この基本説明では、従来の動画カメラのような機械的な「ローリングシャッター」タイプの撮像装置、および、デジタル画像センサを採用する様々なタイプのデジタル撮像装置の両方のシャッタータイミングが説明される。表１に示されるように、単一のフレームの時間中に３つの別個のカメラシャッター状態がある。「Ｃ」状態はシャッターが完全に閉じられているときの時間窓（閉シャッタ期間）を表し、「Ｏ」状態はシャッターが完全に開いているときの時間窓（開シャッタ期間）を表し、「Ｐ」状態はシャッターが開いているとき又は閉じているときの時間窓を表す。これらの時間フィールド中にセンサに到達することが許可される光の量は、シャッター移動（部分シャッター期間）とともに変化する。
―――――――――――――――――――――――――――――――――――――――――――
｜ 表１－カメラシャッターゾーン ｜
―――――――――――――――――――――――――――――――――――――――――――
｜ＣＣＣＣＣ｜ＰＰＰ｜ＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯＯ｜ＰＰＰ｜ＣＣＣＣＣ｜
―――――――――――――――――――――――――――――――――――――――――――
これらの時間窓の各々の持続時間およびタイミングは特定の撮像装置に固有であり、装置ごとに異なり得る。したがって、本開示の教示は、表１に示されるシャッター状態の形態を示す、機械的またはデジタル的にシミュレートされる、シャッター機構を採用する任意の撮像装置に適用される。

【0018】

本明細書では「部分シャッター」とも呼ばれるＰ時間フィールドの間、光源によって放出される全ての光子が、画像センサに到達するわけではない。それは、フィルムセンサであろうとデジタルセンサであろうと変わらない。図１１に示されるように、ＰＷＭ制御ＬＥＤディスプレイのパルスによって生成されるアーチファクトを低減または除去する目的で、ＬＥＤタイルは、Ｐ時間フィールド中にいかなる光も出力すべきではない。Ｏ時間フィールド中、ＬＥＤタイルは全てのＰＷＭリフレッシュサイクルを完了すべきであり、Ｃ時間フィールド中、ＬＥＤタイルからの出力は必要とされない。しかしながら、ＬＥＤタイルが（撮像装置に加えて）人間の視聴者によって生きて観察されている場合、人間の目に見えるフリッカ効果を回避するように、Ｃ時間フィールド中に快適レベルの光が発せられてもよい。さらに、Ｐ時間フィールドおよびＯ時間フィールドの時間間隔は、デジタルセンサの特性などの固定カメラパラメータ、および、ＬＥＤディスプレイの画像を生成するために用いられるシャッター角度設定などの選択可能カメラパラメータに基づいて、その値が変更され得ることに留意されたい。

【0019】

図２は、本明細書に開示されるいくつかの実施形態について、２つのカメラシャッター期間に亘るデジタルカメラセンサ充電状態に対するＬＥＤ・ＰＷＭ制御信号のタイミング制御を示す。上段の箱１０は、相対的時間基準（Ｔ_０）、すなわち、単一のカメラシャッター期間の始点で始まる、デジタルセンサ充電状態（１－８）を示す。カメラシャッター期間は、Ｔ_０から始まり、Ｔ_５で終了する。なお、Ｔ_５は、次回のシャッター期間のＴ_０にもなる。単一のシャッター期間は、単一のビデオ撮影フレームに対応する。太黒線２０は、模擬シャッター開状態対閉状態を示す。ここで、黒実線部分２２は全閉状態（表１のＣ）を表し、破線部分２４は部分的に開いた状態（表１のＰ）を表し、間隙部分２６は、全開状態（表１のＯ）を表す。線３０はＬＥＤディスプレイへのＰＷＭ制御信号を表し、種々の矢印（Ａ～Ｃ）は、シャッター期間に亘って異なる時間制御窓を表す。

【0020】

シャッター期間は、デジタルセンサの充電状態を参照して、以下のように発生する：
（１）各露光の開始時に、センサは、全てのフォトサイトをリセットして、全ての電荷を空にする。従来、本開示の教示を考慮しないカメラの観点から、これは露光時間の開始と考えられていた。
（２）フォトサイトは、例えば、左上のフォトサイトから順にリセットされ、部分電荷状態を生成する。リセットプロセスは、右下に一行ずつ走査する。この部分充電状態中、画像源によって生成される光の一部のみがカメラセンサによって受光される。（一部のセンサは、異なる方向に走査するが、効果は同じである）。
（３）全開露光時間は、フルフォトサイトリセットで始まる。これは、時間窓Ｂの開始である。
（４）全開露光時間中、フォトサイトは、画像源からどれだけの光が受け取られるかに基づいて電荷を蓄積する。各フォトサイトに光がより多く届くほど、電荷はより高くなる。開口サイズなどの他のカメラ設定を条件として、光源によって放射されたすべての光は、この時間中にセンサによって受光される。
（５）一旦、全開露光時間が過ぎると、各フォトサイトの電荷が測定され、読み出される。これは、時間窓Ｂの終了である。
（６）また、読み出しは、左上から始まる。ここでも、これは部分充電状態であり、その間、画像源によって生成された光の一部のみがカメラセンサによって受光される。
（７）読み出しは、全てのフォトサイトが読み出されるまで、ライン毎に右下に走査し、部分電荷状態を終了させる。
（８）シャッター期間の終了時、フォトサイトの読み出し後、一般に、フォトサイトが光を電荷に変換する期間がある。典型的にはこの期間中、撮影電荷は次のリセットまで無視される。この期間の長さは、特定のカメラ／センサ設計、設定および制御に依存する。

【0021】

時間窓Ｂ中、全充電（表１のＯ時間フィールドに対応するセンサ状態（３）～（５））されたデジタルセンサでシャッターが全開しているとき、ＬＥＤ・ＰＷＭ制御信号３０は、全オン状態３２で送達される。ＬＥＤ・ＰＷＭ制御信号３０は、一般にＬＥＤタイルディスプレイのＰＷＭ制御が理解されるように、所望のタイル輝度を示すように構成されるパルス制御である。それは、時間窓Ａ２に対応する部分シャッター期間、例えば、センサ状態（１）～（２）、および、時間窓Ｃ１に対応するセンサ状態（６）～（７）であり、その間、ＬＥＤ・ＰＷＭ制御信号３０は、ＬＥＤディスプレイから撮影された動画におけるアーチファクトを最小化または除去するために、オフ３４に設定されなければならない。シャッターが全閉されている時間、例えば、時間窓Ｃ２およびＡ１に対応するデジタルセンサ状態（８）の間、撮像のみの観点からＰＷＭ信号は必要とされない。しかしながら、ディスプレイのライブ、インパーソンビューアへの視覚的外観が関心事である場合、オプションＰＷＭ信号３６がディスプレイに送達され得、それは、全体的なビデオストリームに対応し得るか、または、瞬間的な静止色または他の静止画像を示して、ディスプレイの任意の視覚的に知覚可能な点滅を平滑化または排除し得る。

【0022】

図２に関し、概して、時間Ｔ０は、単一のフレームのシャッター期間の始点を表す。時間Ｔ１は、ＬＥＤタイルが全表示値にある全開シャッター窓の始点を表す。時間Ｔ２は、全開シャッター窓の終点を表す。時間Ｔ３は、シャッター閉状態の終点および閉シャッター持続時間の始点を表す。時間Ｔ４は、シャッター期間内のカメラセンサオフ時間の中間点を表す。時間Ｔ５は、シャッター期間の終了を表し、次の次回シャッター期間の時間Ｔ０に対応する。したがって、ＰＷＭ制御がオンに設定されるときの時間窓Ｂの長さ（表１のＯ時間フィールド）は、Ｔ２－Ｔ１に対応する。以下でさらに説明するように、アーチファクトを除去するための最小ＰＷＭオフ時間は、時間窓Ａ２（Ｔ０－Ｔ１）およびＣ１（Ｔ２－Ｔ３）に対応する。

【0023】

デジタルセンサが完全に露出されている間、ＬＥＤディスプレイは可能な限りオンにすべきである。すなわち、アーチファクトなしにカメラに良好な画像を取得させる時間窓Ｂは、ディスプレイ、または、ディスプレイの大部分がシャッター期間の残りの間もオンになっていない場合、言及されたように、人間におけるストロービング効果が生成され得る。しかしながら、ストロービング効果の抑制とアーチファクト除去とのバランスをとることは、さらなる複雑さを生み出す。それは、少なくとも時間窓Ａ２及びＣ１の部分シャッター状態の間、ディスプレイのＬＥＤが依然としてオフにされなければならないからである。したがって、最適には、良好なオン・オフカメラの外観を示すためにＰＷＭ制御信号がオフであるべき非常に短く正確な時間窓が存在する。

【0024】

本開示の原理をさらに説明するために、図３Ａ、図３Ｂおよび図３Ｃに、６０フレーム／秒（ｆｐｓ）で１８０度のシャッター角度に設定したカメラに基づくＰＷＭ信号タイミングでカメラ設定の同期を行った例が示されている。当技術分野で知られているように、これらの設定では、カメラフレーム時間は１６．６ミリ秒（ｍｓ）であり、名目露出時間は８．３ｍｓである。上述したように、名目露光時間はカメラセンサの充放電時間を含む。したがって、カメラセンサが５．０ｍｓの総充電／放電時間を有する場合、鮮明なビデオ撮影に利用可能な時間窓は３．３ｍｓ(すなわち、時間窓Ｂ）であり、その時間窓は、最初の２．５ｍｓのセンサ充電時間の後に始まる。しかし、カメラ製造者がセンサのタイミング仕様を公表していないと、操作者は、充放電と全開との間に８．３ｍｓの総露光時間がどのように割り当てられているかが分からないため、上述のようにＰＷＭ信号をいつオン／オフに設定するかが分からない場合がある。

【0025】

この問題を解決するために、特定の実施形態では、図３Ａおよび図３Ｂに示されるように、操作者が撮影画像からの視覚フィードバックを用いて、正しいタイミング設定を決定することができる。その中に示されるように、カメラがオンにされるか、初期フレームの撮影を開始する場合、タイミング同期はＴ０に始まる。ここでは、Ｔ０の前、５０％のデューティサイクルで１０００ＨｚのＰＷＭ信号として表される表示ＰＷＭ信号３０は、最初に、第１のカメラフレームの前の３８でオンまたはオフにすることができる。３４におけるＰＷＭ信号の部分はオフであり、３２における部分はオンである。

【0026】

選択されたフレームレートおよびカメラシャッター角度が与えられると、システム機器およびその性能への精通度に基づいて、操作者は、同期遅延時間および同期オン時間の初期推定を行うことができる。同期遅延時間は、全開シャッター窓Ｂの前の時間、すなわち、撮影画像におけるアーチファクトを回避するためにＰＷＭ信号をオフにすべき図２の時間Ｔ０とＴ１との間の時間窓Ａ２である。同期オン時間は、全開シャッター窓Ｂに対応する同期遅延時間に続く時間、すなわち、図２のＴ１とＴ２との間の時間であり、ＰＷＭ信号が最適な撮像のためにオンとされるべきときである。前段落で説明された例示的なカメラシステムについて、図３Ａは、２．０ｍｓの初期同期遅延時間推定値および５．０ｍｓの初期同期オン時間推定値の結果を示す。これらの初期同期時間設定で撮像を開始した後、操作者は、撮影画像を観察して、（図２で識別されるように）Ａ２およびＣ１の部分シャッター状態の一方または両方の間にディスプレイがオンになることから生じる撮影画像内のアーチファクトの存在を決定する。

【0027】

図３Ａは、観察者が、全開シャッター窓Ｂの前縁および後縁の両方において、撮影画像のアーチファクトを観察することを示す。全開シャッター窓Ｂの前縁におけるアーチファクトは、最初のＰＷＭパルス３２によって生成される。最初のＰＷＭパルス３２は、２．０ｍｓの同期遅延時間の終了時に降下するが、それは時間Ｔ１の前である。それは、第１パルスにおいて生じる光は、部分充電状態において画像センサによって部分的に受光されるだけであるからである。同様に、全開シャッター窓Ｂの後縁におけるアーチファクトは、最後のＰＷＭパルス３２によって生成される。最後のＰＷＭパルス３２は、時間Ｔ２の後、全開シャッター窓Ｂの閉鎖後に下降し、時間Ｔ２とＴ３との間でカメラセンサの部分充電（放電）状態になる。撮影画像内のこれらのアーチファクトを識別することによって、操作者は、同期遅延時間が短すぎること、および、同期オン時間がその特定のカメラ設定に対して長すぎることの両方を知る。

【0028】

操作者は、初期同期時間推定値から得られた知識を用いて、推定値を修正し、同期遅延時間を増加させて、（前縁アーチファクトを除去するために）ＰＷＭオン信号３２をさらに延ばすと共に、同期オン時間を減少させて、（後縁エッジアーチファクトを除去するために）全開シャッター窓Ｂの終わりにＰＷＭオフ信号３４をさらに進める。このため、図３Ｂに示されるように、同期遅延時間を２．５ｍｓに設定すると共に、同期オン時間を３．５ｍｓに設定することができる。２．５ｍｓの同期遅延時間は、時間Ｔ１、全開シャッター窓Ｂの始まりに、最初のオンパルス３２が降下するようにＰＷＭをオンにする。この設定により、操作者は、撮影画像内の前縁アーチファクトを観察せず、時間Ｔ１、全開シャッター窓Ｂの開始点が正しく識別されたことを知る。図３Ｂにも示されるように、３．５ｍｓの同期オン時間により、ＰＷＭ信号３０の最後のオンパルス３２Ａが時間Ｔ２に亘って、後続の部分シャッター期間（図２の窓Ｃ１）内に降下するパルス３２Ａの時間部分Ｘまでかその時間部分Ｘで下降する。この具体例では、最終パルス３２Ａの重複時間部分Ｘが０．２ｍｓである。カメラ設定およびディスプレイパラメータにおける様々な他の要因に応じて、時間Ｔ２の後に降下する０．２ｍｓのパルス３２Ａは、撮影画像の外観を許容できないほど劣化させるのに十分に有意な後縁アーチファクトを生成する場合もあれば、生成しない場合もある。

【0029】

時間Ｔ２の後に降下するパルス３２Ａの部分によって生成される後縁アーチファクトが、撮影画像を許容できないほど劣化させる場合、別の実施形態で利用することができるいくつかの制御オプションがある。一般に、パルスは、ＰＷＭ周波数およびデューティサイクルに応じて、利用可能な開シャッター窓Ｂと正確に合わない場合がある。例えば、図３Ｂに示されるように、１０００Ｈｚおよび５０％デューティサイクルで駆動されるＰＷＭ信号では、パルスの前縁は１．０ｍｓ離れ、それぞれ０．５ｍｓのオン時間を有することになる。この例のようにカメラセンサのタイミングパラメータが固定されている場合、システムの物理的な制約は、このＰＷＭ信号が０．５ｍｓのセグメントでしか制御することができないため、Ｔ１でＰＷＭ信号をオンにし、次いでＴ２、３．３ｍｓ後に正確にオフにすることができないことを意味する。１つの解決策は、最後のパルスが全開シャッター窓Ｂ内に完全に入るように最後のパルスを動かすのに充分な同期オン時間をさらに減らすことである。この特定の事例では、そのことは、同期オン時間を３．０ミリ秒未満に減らし、その結果、時間Ｔ１とＴ２との間の全開シャッター窓Ｂの間に３つのフルパルスしか発生しないことを意味する。しかしながら、そのような解決策は、場合によっては利用可能な全開シャッター時間を最大限に使用しないことがあり得るため、明るさなど、撮影画像の他の態様を劣化させることがある。

【0030】

いくつかの例において、別の可能な解決策は、パルスが全開シャッター窓Ｂとより正確に合うようにＰＷＭ信号を調整することである。１つの選択肢では、これは、周波数を維持しながらＰＷＭ信号のデューティサイクルを変更することによって行うことができる。デューティを下げると、前縁の間隔を変更することなく、パルスごとにオン時間の量が増減する。したがって、図３Ｂに示される同じ同期遅延時間および同期オン時間を用いて、５０％ではなく３０％デューティサイクルでの１０００ＨｚのＰＷＭ信号が、全開シャッター窓Ｂ内に４つのフルオンパルスを入れ、時間Ｔ２の後に降下する最終パルス部分がなくなる。しかしながら、デューティサイクルの減少は、表示画像にも影響を及ぼすため、いくつかの状況では選択肢にならない場合がある。ＬＥＤタイル制御装置の能力などのハードウェア制約によって許可される場合、別の選択肢は、パルスを時間窓と合わせるようにＰＷＭ周波数を調整することである。そのような調整の一例を図３Ｃに示す。この場合、ＰＷＭ周波数を１０００Ｈｚから２０００Ｈｚに増加させると（５０％デューティサイクルを維持する）、時間Ｔ２の後にパルスを配置することなく、３．３ｍｓの同期オン時間で２．５ｍｓの同じ同期遅延時間と合わせることができる。これは、最終のパルス３２の後縁が３．３ｍｓの全開シャッター窓Ｂの３．２５ｍｓで下降するからである。当業者によって注目されるように、これらの例で使用される１０００Ｈｚおよび２０００ＨｚのＰＷＭ信号は、簡略化された方法で本開示の原理を説明するために便利である。実際には、高解像度ビデオウォールが８０００Ｈｚ以上の周波数で動作することもある。本開示の原理は、そのようなより高い周波数で動作するシステムに等しく適用される。

【0031】

さらに別の実施形態において、プロセッサ制御システムにおいて本開示の制御方法を実装する簡便な方法は、各カメラフレーム内に複数の規則的な時間制御スライスを作成することである。各カメラモデルおよび製造業者はシャッターおよび／または充電状態タイミングを変化させるため、どのタイムスライスがビデオを表示すべきか（ＰＷＭオン）、表示すべきでないか（ＰＷＭオフ）を個別に選択するために、各シャッター期間内に仮想「タイムゾーン」としてこれらの時間制御スライスを作成することが望ましい場合がある。理論的には、タイムスライスの数が多いほど、制御がより細かくなる。しかしながら、タイムスライスの数は、ＬＥＤタイルの能力（処理電力、ドライバ集積回路などの組み合わせ）に基づいて制限され得る。

【0032】

そのような仮想時間制御スライスを利用する例示が図４に示されている。ここでは、９つの等しい時間制御スライスが、単一のシャッター期間タイミング図上に重ね合わされている。個々の時間制御スライスは、（１）～（９）として指定されている。そこに示されるように、基準線４０は、各時間制御スライスの開始／終了を示している。この例では、撮影ビデオにおける望ましくないアーチファクトを回避する目的で、少なくとも時間制御スライス（１）、（５）および（６）の間、ＰＷＭ信号３０がオフ３４に設定される。この解決策は、ＬＥＤ・ＰＷＭ方法論および典型的なカメラシステムによく適合し、様々な製品に亘って調整することができる。加えて、全閉カメラシャッター時間と合わされた時間制御スライス（７）－（９）の間、ＰＷＭ信号は任意選択的にオン３６とされて、ビデオまたは静止画像／色を表示して、撮影画像に影響を及ぼさないようにしながらストローブ効果を平滑化する。

【0033】

より高性能のＬＥＤディスプレイタイルでは、より多くの（より小さい）時間制御スライスを生成することができ、それにより、ＰＷＭ制御信号のオン／オフスイッチングのより正確な制御が可能となる。例えば、当業者は、図４（Ｔ２）の全開シャッター窓Ｂの端部が時間制御スライス（５）のほぼ中間点で降下することを認識し得る。図示されるような９つの時間制御スライスを用いて、時間制御スライス（５）の間にＰＷＭ制御信号をオンに設定するかどうかの決定が行われなければならず、これは部分センサ充電状態の間にアーチファクトを生成し得るか、ＰＷＭ制御信号オフを設定し得る。これは、次いで、開シャッター窓Ｂを完全には利用せず、撮影画像の特性を損なうおそれがある。そのようなトレードオフの必要性を回避するために、いくつかの状況では、ＰＷＭ制御をシャッタータイミングとより正確に整合させるように、時間制御スライスの数を２倍にすることが望ましい場合がある。この例では、図示されるように９つに代えて１８個の時間制御スライスが使用された場合、第７のゾーンの終端は時間Ｔ２と合って、これにより全開シャッター窓Ｂ内に、ＰＷＭ制御信号の少なくとも１つの追加のオンパルスが存在することができる。

【0034】

さらなる別の実施形態では、同期位相パラメータを組み込むことによって、カメラ－ＬＥＤタイミングの位相を調整することができる。カメラ露出速度がＰＷＭオン／オフサイクル速度と同じである場合、カメラとＰＷＭタイミングの両方が一緒に「ロック」されることが好ましい場合がある。しかしながら、これらのシステムは同じ速度で更新され得るが、それらはしばしば、同相ではないが、一貫した位相オフセットを有するであろう。したがって、上述のような時間帯がカメラセンサの全開／部分開／閉期間とできるだけ最良に合わされることを確実にする目的で、同期位相パラメータは、ＬＥＤオン／オフサイクルの位相を微調整することができる。そのような同期位相パラメータの一実施形態は、図４にグラフで示されている。ここで、上述のように、線４０は個々の時間制御スライスの開始を表し、同期位相パラメータは、遅延時間４２または前進時間（負の遅延）４４によって表されている。同期位相パラメータは、図示されるように時間帯のシフトを可能にする共に、ナノ秒を追加して右にシフトするか、ナノ秒を減算して左にシフトするビデオプロセッサ／制御システム内のソフトウェア実装特徴であり得る。

【0035】

映画製作者、アーティスト、またはカメラ操作者などの開示されたシステムおよび方法の使用者は、本開示の教示に基づいて、所望の芸術的効果、照明条件、レンズ、セット設計などに基づいて、それらの好ましいカメラシャッター角度を選択することができる。一制御態様では、表示／ビデオ信号ＰＷＭサイクルを減らすことができ、例えば、ゾーンの周期を増やすために、パルスをやや広げてタイミングゾーンの数を減らすことができる。別の制御態様では、利用可能なスライスリフレッシュ時間に対する所望のシャッター角度を調整することができる。ビデオ信号のタイミングおよびカメラシャッター角度をシフトさせることによって、所望の表示タイミングスライスは、フォアグラウンドにおける任意のライブアクションと共に撮影される。したがって、本明細書に開示される実施形態は、表示ＰＷＭ信号およびカメラタイミング／シャッター角度の両方の相補的制御を容易にすることによって、従来技術のシステムよりもはるかに多くの制御オプションを提供する。このため、表示／ビデオ信号制御オプションは、フレーム期間ごとに示すことができるＰＷＭサイクルの数によって制限され得るが、シャッタータイミング／角度制御と組み合わせた場合、使用者の好みに基づいて、事実上無制限の芸術的効果を生成することができる。

【0036】

本開示のさらなる態様では、正しい同期タイミングを見つけるのを助ける目的で、ユーザインターフェイスが提供される。一実施形態では、図５に示されるように、使用者は、ユーザインターフェイス１３０を用いることによって、セットアップルーチン中に生成される画像の視覚的フィードバックに基づいて、同期遅延時間および同期オン時間のパラメータを容易に制御することができる。また、制御システムは、インターフェイス１３０を用いることによって、特定のタイミングスライス中にソリッドカラーを示すように構成可能である。ディスプレイに容易に識別可能なソリッドカラーを表示することにより、図３Ａおよび図３Ｂに関連して上述したようなタイミングアライメントの視覚的検証を行うことが可能になる。例えば、最初のタイミングスライスに対して赤が表示され、続いて中間タイミングスライスに対して緑が表示され、さらに続いて最後のタイミングスライスにおいて後続の赤が表示される場合、カメラが表示基準画像に対して赤＋緑のみを撮影するように、これらの基準色を用いて同期タイミングを容易に調整し得る。

【0037】

ユーザインターフェイス１３０により、使用者は、制御装置１１６または１１８などの表示制御装置を用いて、ＬＥＤタイルの所望のＰＷＭ制御信号の開始、終了、およびオンタイムを正確に選択することができる。ユーザインターフェイス１３０には、使用されるべき特定の撮像装置のシャッタータイミング１３２のグラフィカル表現が含まれる。特定のカメラのシャッタータイミングは、製造業者の仕様から得ることができるか、例えば、カメラ制御装置を介してカメラに設定することができる。いくつかの実施形態では、撮像装置は、ＬＥＤディスプレイ制御システムと直接通信して、例えば、図１Ａに示されるように、シャッタータイミング情報を自動入力し得る。スライダバー１３４は、仮想のタッチスクリーンスライダであってもよく、使用者は、これによりシャッター開時間に対応するようにＬＥＤ・ＰＷＭ制御を時間に設定し、カメラで生成された画像の所望の外観を達成するように関係を微調整することができる。スライダバーの各端は、シャッターフレームの開始時の同期遅延、および、終了時のデッドタイムを変更する目的で、独立して移動されてもよい。ディスプレイからの視覚的フィードバックは、撮影ビデオストリームに所望の外観を提供するスライダ位置、すなわち同期遅延値の決定を可能にする。

【0038】

ユーザインターフェイス１３０の試験色選択セクション１３６により、色１、２、および３のための色選択ボックスを用いて、ＬＥＤ同期遅延をシャッター開時間とより精密に合わせることができる。この例示的な例では、同期遅延時間、同期オン時間、および、フレーム期間の終了時の閉／デッド時間に対応する３つの色選択ボックスが提供される。使用者の好みに基づいて、色選択ボックスが追加されてもよい。あるいは、静止単色ではなく、任意の静止画像が表示されてもよい。特定のシャッター期間に同期される選択可能な色オプションは、カメラシャッターの閉／開／開／閉／閉の部分を見つけるのに非常に有用であり得る。これは、カメラ製造業者が、シャッターがどのように、いつ開いているかの詳細を公開しないときに特に有用であり得る。例えば、使用者は、色１を「赤」に設定し、シャッター期間の「開」領域（すなわち、図２の期間Ｂ）において赤色がわずかに見えるまで、同期遅延スライダ１３４を前後に移動させることができる。そうすることにより、ＬＥＤ・ＰＷＭの開始を「オン」時間に正確に識別して設定することができ、その後、色１を黒色にリセットすることができる。次に、色３は「緑」などの別の色に設定することができ、デッドタイム（ＰＷＭ「オフ」サイクル）は、撮影画像がわずかに緑に見えるようになるまで前後に調整することができ、その後、色３を黒にリセットすることができる。スライダによって行われたこれらの設定を確認する目的で、色２を選択して、同期オン時間がアーチファクトなしで、選択色を記録して出力する撮像装置を合わせることを確認することができる。アーチファクトを除去するための設定が検証されると、「色２」は「ビデオ」にリセットされ、その後、ディスプレイおよび撮像装置は、撮影画像ストリーム内のアーチファクトを回避するように、撮像装置のシャッター期間に同期されるＬＥＤディスプレイとともに通常使用され得る。

【0039】

特定のカメラタイミングが知られていない状況では、色選択ボックス１３６を有するユーザインターフェイス１３０（図５）のスライダバー１３４を用いて、利用可能な開シャッター窓を視覚的に識別し、説明したようにＰＷＭタイミングを設定することができる。あるいは、特定のカメラタイミング（例えば、シャッター開閉時間および充電／放電時間）が知られている場合、利用可能なシャッター開窓を事前計算して、図６に示すように代替のユーザインターフェイスを用いて適切なＰＷＭサイクル長およびオフ時間を設定することができる。

【0040】

いくつかの実施形態では、ユーザインターフェイス１３０は、システムプロセッサによって実行されるインターフェイス命令に基づいて、ユーザインターフェイス表示装置に表されるグラフィカルユーザインターフェイス（ＧＵＩ）として構成され得る。そのようなＧＵＩとして、複数のＧＵＩ領域、例えば、上述のような制御要素を含む第１のＧＵＩ領域１３０ａ、および、撮影画像を表す表示窓１３８を含む第２のＧＵＩ領域１３０ｂが示され得る。図１１は、窓１３８などのＧＵＩ表示窓内の撮像画像の一例を示す。

【0041】

別の代替実施形態では、タイル対タイルおよびタイル対システム制御通信の帯域幅要件を低減する目的で、同期制御の態様が個々のタイルに埋め込まれ得る。図７は、ビデオウォールの作成に用いられ得る典型的なＬＥＤディスプレイタイル１５０を示す。高レベル構成要素は、ＬＥＤピクセルアレイ１５２および構成要素ハウジング１５４を含む。構成要素ハウジング１５４は、タイル制御装置１５６および複数のコネクタ１５８などの構成要素を含む。タイル制御装置１５６は、ビデオパケット交換などの機能を実行したり、ビデオ信号を適切なピクセルに向けたり、タイル間で通信させたり、および、タイルを介してシステム制御に通信したりするための処理および記憶装置を含む。個々のタイル制御装置１５６は、また、多くのタイル設計においてＰＷＭ信号を制御する。タイルコネクタ１５８は、典型的には各タイルエッジ上に配置されており、タイル識別情報、制御信号およびビデオ信号を中継するために、隣接するタイルとの通信を容易にしている。コネクタは、当業者によって理解されるように、物理的接続であってもよいし、様々な無線プロトコルを介して通信してもよい。

【0042】

典型的なアプリケーションでは、ビデオソースがプロセッサに供給され、プロセッサはフィードをタイルサイズのピースに分割し（ＩＰベースのシステムではビデオフィードをパケット化し）、それらのピースまたはパケットをタイルに送信する。次に、タイルは、ＰＷＭ信号によって設定された輝度でディスプレイウォールのビデオソースを再生するＰＷＭ信号として、そのデータを光として放射する。制御装置／プロセッサからタイルへのビデオデータの処理および送信には、ＣＰＵ容量および通信チャネル帯域幅が用いられる。ビデオ信号に複数の付加的なタイムゾーン制御を追加すると共に、特定のタイムスライス内に付加的な静止色信号を埋め込むには、付加的なＣＰＵ容量および通信チャネル帯域幅を用いる。いくつかのシステムでは、非常に高解像度のビデオウォールシステムは、すでにＣＰＵ容量および／または通信チャネル帯域幅に近いところで動作しているかもしれず、時間帯および／または静止色制御信号がビデオ信号に埋め込まれている場合、本明細書で開示される同期およびストローブ平滑化技法を利用することができないことがある。ＣＰＵまたは通信チャネルに対する要求を低減する目的で、これらの制御信号をビデオ信号に埋め込む代わりに、オン／オフ命令を有する時間帯、および／または、静止色表示タイミング（上述のように図２の期間Ａ１およびＣ２中など）が、タイルメモリに記憶された命令で、タイルに事前に送信され、タイル制御装置に対してＰＷＭをオンおよびオフさせる、および／または、指定時間に必要な色を表示させる。このように制御信号をシーケンスすると共に、既存のタイルメモリおよび処理能力を利用することによって、ＣＰＵ容量および／または通信チャネル帯域幅を解放して、とりわけ、より多くのビデオからより多くのタイルまたはより高い解像度のビデオの生成させることができ、制御装置の動作、通信、および全体的なシステム性能を改善することができる。

【0043】

前述の実用的な例として、６０ｆｐｓシステムの４つのサブフレームを提供する目的で、ビデオは２４０ｆｐｓで配信され得る。しかしながら、この高いフレームレートは全体的なシステム処理容量を４倍減少させ、より高速なデータを送信するにははるかに高度な機器伝送を必要とし、本明細書で説明するシャッタータイミング同期を正確に微調整することができない場合がある。サブフレームタイミングゾーンおよび静止塗りつぶし色を、終点すなわちタイル制御装置において、事前に配信された命令に基づいて生成することにより、そわない可能性があるシステムにおいてシャッター同期制御を可能にし得る。例えば、クロマキー色またはビデオフィールドの逆値を追加することは、事前に計算されることができ、そのような情報を配信するためにビデオペイロードを必要としない。

【0044】

図８は、複数のカメラが用いられて異なる位相オフセットで撮影し、ビデオフレーム期間の異なる部分で露出され、異なるビデオ時間制御スライスを捕捉し、より多様なビデオ効果を可能にする、さらなる代替実施形態を図示する。図示された例では、ビデオフレーム期間は８つの時間制御スライスで制御され、２つのカメラが用いられる。カメラ１およびカメラ２は同じシャッター周波数で構成されているが、位相オフセットがある。図８に示されるような制御シーケンスを用いて、十分なサブフレーム時間制御スライスが用いられる場合、ＬＥＤ・ＰＷＭ信号（３０）「オン」時間は、各カメラと独立して合わされ得る。その中に示されるように、時間制御スライス（１）および（２）は、カメラ１の開シャッター窓（Ｂ_Ｖ１）に対応するアクティブビデオスライスであり、時間制御スライス（６）および（７）は、カメラ２の開シャッター窓（Ｂ_Ｖ２）に対応するアクティブビデオスライスである。本明細書で上述した原理によれば、カメラセンサ部分電荷状態と合う時間制御スライス（３）、（５）および（８）は、撮影ビデオストリームにおけるアーチファクトの生成を回避するために黒を表示するように設定され、時間制御スライス（４）は、両方のカメラのシャッター閉時間に入り、ライブビューアのストロービング効果を低減するために所望の静止色を表示する。図８に示される２つのカメラのタイミングは、マルチカメラの実施形態の単なる例示である。本明細書に示される教示に基づいて、任意の数のカメラを用いることができ、一般に、機器の能力によってのみ限定される。マルチカメラの実施形態は、特定の時間フレーム内の異なる背景ビデオコンテンツの表示を可能にすることによって既存のシステムを改善し、異なるカメラが、同じ前景アクションに焦点を合わせながら異なる背景を取り込むことを可能にする。

【0045】

図９は、ディスプレイ１１２として発光三次元ボリュームを用いるさらなる代替システム１６０を示している。その代替システムは、２つの撮像装置１１０ａおよび１１０ｂを有しており、そのタイミングは、図８に関連して上述されている。この実施形態では、図７に示されるように、発光三次元ボリュームが発光タイル１５０のアレイから構成される。制御装置１１６および通信リンク１２０、１２２、および１２４は、本開示の教示に基づいて、および、本明細書の他の場所で説明されるように、当業者によって構成され得る。システム１６０により、ライブアクションシーンを、ビデオ供給仮想環境に囲まれる３次元ボリューム内で撮影することができ、その全てが、撮像装置１１０ａおよび１１０ｂによって同時に撮影される。

【0046】

当業者によって理解され得るように、本開示による特定の制御構成は、そうでない場合よりも少ない光がカメラセンサによって受光されることを意味する、比較的短い撮影期間をもたらし得る。この状況において撮影画像の輝度を調整すること、例えば、ディスプレイをより明るくするＰＷＭオン時間（より高いデューティサイクル）を増加させること、より多くの光を入れるようにカメラの開口を調整すること、カメラが使用していたかもしれないＮＤ(中性密度）フィルタを除去すること、シャッター角度（ＰＷＭ限界内）を調整すること、カメラのセンサ感度（ＩＳＯ）を増加させることのような、いくつかのオプションが採用され得る。特定の機器を有する特定の状況では、任意の所望の撮像品質または芸術的効果を達成するために、輝度制御のための他のオプションが示され得る。

【0047】

いくつかの実施形態では、カメラ制御１１４、ディスプレイ制御１１８またはタイル制御１５６などの制御機能は、図１０に示されるように、１つまたは複数のコンピューティング装置２００として実行され得る。この例では、コンピューティング装置２００は、１つまたは複数のプロセッサ２０２、メモリ２０４、記憶装置２０６、メモリ２０４および高速拡張ポート２１０に接続する高速インターフェイス２０８、低速バス２１４および記憶装置２０６に接続する低速インターフェイス２１２を含む。構成要素２０２、２０４、２０６、２０８、２１０、および２１２の各々は、構成要素を接続する矢印によって図１０に示されるように様々なバスまたは他の適切な接続を用いて相互接続される。プロセッサ２０２は、メモリ２０４または記憶装置２０６に記憶された命令を含む、コンピューティング装置２００内で実行するための命令を処理して、ディスプレイ２２０におけるＧＵＩ２１８を介して、または高速インターフェイス２０８に結合された外部ユーザインターフェイスデバイスにグラフィカル情報を表示することができる。他の実装形態では、複数のプロセッサおよび／または複数のバスが必要に応じて、複数のメモリおよび複数のタイプのメモリとともに用いられ得る。また、複数のコンピューティング装置２００を接続することができ、各装置は、（例えば、サーババンク、一群のブレードサーバ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

【0048】

メモリ２０４は、コンピューティング装置２００内の情報を記憶する。一実装形態では、メモリ２０４は、コンピュータ可読媒体である。一実装形態では、メモリ２０４は、１つまたは複数の揮発性メモリユニットである。別の実装形態では、メモリ２０４は、１つまたは複数の不揮発性メモリユニットである。

【0049】

記憶装置２０６は、コンピューティング装置２００に大容量ストレージを提供することができ、タイミング制御、タイムスライスサイズおよび／または静止色彩度、ならびに上述のタイミングなどの情報を含むことができる。一実装形態では、記憶装置２０６は、コンピュータ可読媒体である。様々な異なる実装形態では、記憶装置２０６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置、フラッシュメモリもしくは他の同様の固相メモリデバイス、またはストレージエリアネットワーク内の装置を含むデバイスのアレイ、または他の構成であり得る。一実装形態では、コンピュータプログラム製品は、情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると、上述のような１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ２０４、記憶装置２０６、またはプロセッサ２０２のメモリなどのコンピュータ可読または機械可読媒体である。

【0050】

高速インターフェイス２０８は、コンピューティング装置２００の帯域幅集約的な動作を管理し、一方、低速制御装置２１２は、より低い帯域幅集約的な動作を管理する。このような職務の割当ては、例示に過ぎない。一実装形態では、高速インターフェイス２０８は、（例えば、グラフィックスプロセッサまたはアクセラレータを介して）メモリ２０４、ディスプレイ２２０、および様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート２１０に結合される。この実装形態では、低速制御装置２１２は、記憶装置２０６および低速拡張ポート２１４に結合される。低速拡張ポートは、様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット（登録商標））を含み得、ＧＵＩ ２１８の一部として、または、例えば、ネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、もしくはスイッチもしくはルータなどのネットワーキングデバイスなどのさらなる外部ユーザインターフェイスとして、１つまたは複数の入力／出力デバイスに結合され得る。

【0051】

本明細書で説明されるシステムおよび技法の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現することができる。これらの様々な実装形態は、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、それらにデータおよび命令を送信するように結合された、専用または汎用であり得る少なくとも１つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装形態を含むことができる。

【0052】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサの機械命令を含み、高レベル操作型および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ／機械言語で実装され得る。「機械可読媒体」「コンピュータ可読媒体」との用語は、本明細書で用いられる場合、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するために用いられる任意のコンピュータプログラム製品、装置、および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」との用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。

【0053】

使用者との関係を提供するために、本明細書で説明されるシステムおよび技法は、使用者に情報を表示するための表示装置（たとえば、ＣＲＴ(陰極線管）またはＬＣＤ(液晶ディスプレイ）モニタ）と、使用者がコンピュータに入力することができるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実装され得る。他の種類のデバイスを用いて、使用者との関係も提供することができる。例えば、使用者に提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、使用者からの入力は、音響、音声または触覚入力を含む任意の形態で受けることができる。

【0054】

本明細書で説明されるシステムおよび技法は、バックエンド構成要素（たとえば、データサーバとして）を含むか、ミドルウェア構成要素（たとえば、アプリケーションサーバ）を含むか、フロントエンド構成要素（たとえば、使用者が、本明細書で説明されるシステムおよび技法の実装と関係することができるグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組合せで実装することができる。システムの構成要素は、有線または無線デジタルデータ通信（たとえば、通信ネットワーク）の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットを含む。

【0055】

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いに離れており、典型的には、通信ネットワークを介して関係する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

【0056】

以下の段落では、本明細書に開示される発明の付加的な代替実施形態を説明する：

【0057】

ＰＷＭ制御信号によって駆動される少なくとも１つのディスプレイを含むシーンの撮像方法であり、その方法は、初期時間にＰＷＭ制御信号がオフに設定された状態で、初期時間に撮像装置を用いて撮像を開始することと、前記撮像装置の第１の部分シャッター期間の後に前記ＰＷＭ制御信号をオンに設定することと、前記撮像装置の開シャッター期間中に前記ＰＷＭ制御信号をオンに維持すること、前記撮像装置の第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定すること、一連の撮像フレームを通して前記ＰＷＭ制御信号の前記設定および維持のそれぞれを繰り返すことを含む。

【0058】

段落［００５７］に記載の方法であり、前記方法は、撮像されたフレームの各々の間、撮像装置の閉シャッター期間中、ＰＷＭ制御信号をオフに維持することをさらに備える。

【0059】

段落［００５７］に記載の方法であり、前記方法は、前記撮影されたフレームの各々の間の前記撮像装置の閉シャッター期間の全部または一部の間に、前記ＰＷＭ制御信号をオンに設定することをさらに備える。

【0060】

段落［００５７］、［００５８］、または［００５９］のいずれかに記載の方法であって、部分シャッター期間後に前記ＰＷＭ制御信号をオンに設定することは、初期時間後の初期同期遅延時間でＰＷＭ制御信号をオンに設定することと、撮影画像における前縁アーチファクトの有無を識別することと、前縁アーチファクトが存在するとき、前縁アーチファクトが撮影画像において低減または除去されるまで、同期遅延時間を増加させることを備える。

【0061】

段落［００６０］に記載の方法であって、部分シャッター期間の後にＰＷＭ制御信号をオンに設定することは、前縁アーチファクトが存在しないとき、前縁アーチファクトが撮影画像に現れるまで同期遅延時間を減少させた後、同期遅延時間を、撮影画像にアーチファクトが現れた同期遅延時間よりも大きい値に増加させることをさらに備える。

【0062】

段落［００６０］に記載の方法であって、第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定することは、同期遅延時間に続く初期同期オン時間の後にＰＷＭ制御信号をオフに設定すること、撮影画像における後縁アーチファクトの存在または不存在を識別すること、後縁アーチファクトが存在するとき、撮影画像において後縁アーチファクトが低減または除去されるまで、同期オン時間を減少させることを備える。

【0063】

段落［００６２］に記載の方法であって、第２の部分シャッター期間またはその前に前記ＰＷＭ制御信号をオフに設定することは、後縁アーチファクトが存在しないとき、撮影画像に後縁アーチファクトが現れるまで同期オン時間を増加させた後、同期オン時間を、撮影画像にアーチファクトが現れた同期オン時間未満の値に減少させることをさらに備える。

【0064】

段落［００５７］から［００６３］のいずれかに記載の方法であって、前記設定および維持するステップは、前記初期時間で始まる初期同期遅延時間中に第１の静止色を前記少なくとも１つのディスプレイ上に表示すること、前記初期同期遅延時間の後に始まる初期同期オン時間中に第２の静止色を前記少なくとも１つのディスプレイ上に表示すること、前記初期同期オン時間の後に第３の静止色を前記少なくとも１つのディスプレイ上に表示すること、前記第１および第３の静止色が前記少なくとも１つのディスプレイの前記撮影画像内に現れなくなるまで、前記初期同期遅延時間および前記初期同期オン時間を調整すること、前記同期遅延時間として、前記撮影画像に前記第１の静止色が現れない初期同期遅延時間を選択すること、前記初期同期オン時間として、前記撮影画像に前記第３の静止色が現れない初期同期オン時間を選択すること、前記同期オン時間の後に前記ＰＷＭ制御信号をオンに設定すること、前記同期オン時間の後に前記ＰＷＭ制御信号をオフに設定すること、同期オン時間中に前記ＰＷＭ制御信号をオンに維持すること、同期オン時間中に第２の静止色を所望のビデオフィードに変更することを備える。

【0065】

段落［００５７］～［００６４］のいずれかに記載の方法であって、前記方法は、第２の初期時間で第２の撮像装置で撮像を開始することであって、第２の初期時間が第１の撮像装置の第２の部分シャッター時間の後に開始すること、第２の撮像装置の第１の部分シャッター期間の後に前記ＰＷＭ制御信号をオンに設定することと、第２の撮像装置の開シャッター期間中に前記ＰＷＭ制御信号をオンに維持すること、第２の撮像装置の第２の部分シャッター期間またはその前に、前記ＰＷＭ制御信号をオフに設定することをさらに備える。

【0066】

段落［００６５］に記載の方法であって、前記方法は、第１の撮像装置の第１の部分シャッター期間を、第２の撮像装置の第２の部分シャッター期間と合わせることをさらに備える。

【0067】

段落［００６６］に記載の方法であって、前記第１及び第２の撮像装置はそれぞれ第１及び第２の総シャッター期間を有し、前記方法は、前記第１及び第２の総シャッター期間の間に一定の位相オフセットを維持することをさらに備える。

【0068】

段落［００６６］に記載の方法であって、第１の撮像装置は、第２の撮像装置の開シャッター期間中に閉シャッター期間にある。

【0069】

段落［００６８］に記載の方法であって、前記方法は、前記第１の撮像装置の閉シャッター期間を前記第２の撮像装置の閉シャッター期間と合わせること、前記合わされた閉シャッター期間中に前記ＰＷＭ制御信号をオンに設定することをさらに備える。

【0070】

段落［００５７］～［００６９］のいずれかに記載の方法であって、前記方法は、各撮像フレームを複数のタイムスライスに分割すること、部分シャッター期間の全体または一部に合わされたタイムスライス中に前記ＰＷＭ制御信号をオフに設定すること、開シャッター期間の全体または一部に合わされたタイムスライス中に前記ＰＷＭ制御信号をオンに設定することをさらに備える。

【0071】

段落［００７０］に記載の方法であって、前記タイムスライスは時間長が等しく、各撮像フレーム内に整数のタイムスライスが存在する。

【0072】

少なくとも１つの撮像装置を用いてＰＷＭ制御信号によって駆動される少なくとも１つのディスプレイを含むシーンを撮像する方法であって、前記撮像装置は、少なくとも１つの部分シャッター期間、開シャッター期間、および閉シャッター期間を含む各フレームを有するフレームで画像を撮影する。前記方法は、各フレームを複数のタイムスライスに分割すること、前記部分シャッター期間と全体的にまたは部分的に合わされたタイムスライス中に前記ＰＷＭ制御信号をオフに設定すること、前記開シャッター期間と全体的にまたは部分的に合わされたタイムスライス中に前記ＰＷＭ制御信号をオンに設定すること、前記ＰＷＭ制御信号設定で撮像を開始することと、一連の撮像フレームを通して前記ＰＷＭ制御設定を維持することとを含む、方法。

【0073】

段落［００７２］に記載の方法であって、前記タイムスライスは時間長が等しく、各撮像フレーム内に整数のタイムスライスが存在する。

【0074】

段落［００７２］または［００７３］に記載の方法であって、前記方法は、前記閉シャッター期間と合わされた時間スライス中、前記ＰＷＭ制御信号をオンに設定することをさらに備える。

【0075】

段落［００７２］または［００７３］に記載の方法であって、ＰＷＭ制御信号は、開シャッター期間と全体的に合わされたタイムスライス中にのみ、または、開シャッター期間および閉シャッター期間と全体的に合わされたタイムスライス中にのみ、オンに設定される。

【0076】

少なくとも１つの撮像装置を用いて少なくとも１つのディスプレイを含むシーンを撮像する方法であって、初期時間に始まる同期遅延時間中に第１の静止色を前記少なくとも１つのディスプレイに表示すること、前記同期遅延時間後に始まる同期オン時間中に第２の静止色を前記少なくとも１つのディスプレイに表示すること、前記同期オン時間後に第３の静止色を前記少なくとも１つのディスプレイに表示すること、前記撮像装置を用いて前記少なくとも１つのディスプレイデバイスの画像を撮影すること、前記第１および第３の静止色が前記少なくとも１つのディスプレイの撮影画像に現れなくなるまで前記同期遅延時間および前記同期オン時間を調整すること、所望のビデオフィードの前記第２の静止色を変更すること、前記所望のビデオフィードを表示する前記少なくとも１つのディスプレイを含む前記シーンを撮影することを備える。

【0077】

段落［００７６］に記載の方法であって、前記少なくとも１つのディスプレイは、ＰＷＭ制御信号によって駆動されるディスプレイを備え、前記撮像装置は、各フレームが少なくとも１つの部分シャッター期間、開シャッター期間および閉シャッター期間を含むフレームで画像を撮影する。

【0078】

シーンの動画像を撮影するように構成され、一連のフレーム内の画像を撮影するシャッター機構を備え、各フレームは、開シャッター期間が先行し、その後に部分シャッター期間が続く撮像装置と、前記撮像装置によって撮影された前記シーン内の画像を表示するように構成される発光表示面、および、ＰＷＭ制御信号を用いて前記発光表示面を駆動するように構成されるドライバを含むシステム表示装置と、前記撮像装置の部分シャッター期間中に前記ＰＷＭ制御信号をオフに設定し、前記撮像装置の開シャッター期間中に前記ＰＷＭ制御信号をオンに設定する制御装置とを備える、撮像システム。

【0079】

段落［００７８］に記載のシステムであって、前記制御装置は、各撮像フレームを複数のタイムスライスに分割し、前記部分シャッター期間と全体的にまたは部分的に合わされたタイムスライス中に前記ＰＷＭ制御信号をオフに設定し、前記開シャッター期間と全体的にまたは部分的に合わされたタイムスライス中に前記ＰＷＭ制御信号をオンに設定する。

【0080】

段落［００７８］または［００７９］に記載のシステムであって、前記制御装置は、少なくとも１つのマイクロプロセッサと、前記少なくとも１つのマイクロプロセッサと動作可能に通信するメモリとを備え、前記メモリは、機械実行可能命令を含む。機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、撮像の開始時に初期時間を設定し、初期時間から始まる同期遅延時間を使用者が設定することができるようにし、前記同期遅延時間の後に開始する同期オン時間を使用者が設定することができるようにし、前記初期時間から始まる同期遅延時間のＰＷＭ制御信号をオフにし、前記同期遅延時間の後に前記同期オン時間のＰＷＭ制御信号をオンにし、前記同期オン時間の後に前記ＰＷＭ制御信号をオフにし、各撮像フレームの終了時に初期時間をリセットする。

【0081】

段落［００８０］に記載のシステムであって、前記メモリは、機械実行可能命令をさらに含む。機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、使用者が同期遅延時間値および同期オン時間値を入力することができるようにする少なくとも第１のＧＵＩ領域を有するグラフィカルユーザインターフェイス（ＧＵＩ）をユーザインターフェイス表示装置に表示する。

【0082】

段落［００８０］または［００８１］に記載のシステムであって、メモリは、機械実行可能命令をさらに含む。機械実行可能命令は、少なくとも１つのマイクロプロセッサによって実行されると、前記撮像装置によって撮影された画像を表示する少なくとも１つの第２のＧＵＩ領域を有する前記ＧＵＩを表示すと共に、前記第１のＧＵＩ領域内に（１）同期遅延時間中にシステム表示装置にビデオフィードまたは第１の静止色を表示するユーザ選択可能オプション、（２）同期遅延時間の後に開始される同期オン時間中、前記システム表示装置にビデオフィードまたは第２の静止色を表示するユーザ選択可能オプション、および（３）前記同期オン時間の後に、前記システム表示装置にビデオフィードまたは第３の静止色を表示するユーザ選択可能オプションを示す。それによって、少なくとも１つのディスプレイの撮影画像に前記第１および第３の静止色が現れなくなるまで前記同期遅延時間および前記同期オン時間を調整することは、最初の部分シャッター期間およびシャッター開期間に対応する同期遅延時間、および、前記撮像装置の各撮像フレームにおけるシャッター開期間を識別する。

【0083】

段落［００８０］～［００６２］のいずれかに記載のシステムであって、前記メモリは、機械実行可能命令をさらに含む。機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、各撮像フレームを複数のタイムスライスに分割し、タイムスライスによって前記ＰＷＭ制御信号をオンまたはオフに設定する。

【0084】

段落［００８３］に記載のシステムであって、撮像装置の各フレームは、シャッター閉期間をさらに含み、メモリは、機械実行可能命令をさらに含む。機械実行可能命令は、少なくとも１つのマイクロプロセッサによって実行されると、使用者が閉シャッター期間内に入る時間スライスのＰＷＭ制御信号をオンまたはオフ状態に設定することをできるようにし、閉シャッター期間中にＰＷＭ状態がオンに設定されたとき、使用者が表示用の静止画像またはビデオフィードを選択することができるようにする。ディスプレイ装置は、発光タイルのアレイを備え、各タイルは、タイルのＰＷＭドライバとして構成されるタイル制御を有すると共に、少なくとも１つのタイルマイクロプロセッサと、前記少なくとも１つのタイルマイクロプロセッサと動作可能に通信するタイルメモリとを含み、前記タイルメモリは、機械実行可能命令を含む。機械実行可能命令は、前記少なくとも１つのマイクロプロセッサによって実行されると、使用者によって選択されたとき、タイルに静止画像を表示する。

【0085】

段落［００７８］～［００８４］のいずれかに記載のシステムであって、前記撮像装置の各フレームはシャッター閉期間をさらに含み、制御装置は、使用者がシャッター閉期間中にＰＷＭ信号をオンまたはオフに設定することができるようにする。

【0086】

段落［００７８］から［００８５］のいずれかに記載のシステムであって、システム表示装置は、タイルエッジに沿って接合されており継ぎ目のない３Ｄボリュームディスプレイウォールを形成する発光タイルの３次元アレイを備える３次元（３Ｄ）発光ディスプレイボリュームを備え、各タイルは、各タイル固有のＰＷＭドライバを含み、撮像装置は、シャッター機構を用いて電子的に構成されるデジタル画像センサを有する少なくとも１つのカメラを備える。

【0087】

以上は、本開示の例示的な実施形態の詳細な説明であった。本明細書、および、本明細書に添付される特許請求の範囲において「Ｘ、ＹおよびＺのうちの少なくとも１つ」および「Ｘ、Ｙ、およびＺのうちの１つまたは複数」という語句で使用されるような文言は、特に明記または別段の指示がない限り、文言リスト中の各項目が、文言リスト中の他のすべての項目を除外する任意の数で、または、文言リスト中の他のすべての項目と組み合わせて任意の数で存在することができ、そのそれぞれも任意の数で存在することができることを意味するものとすることに留意されたい。この一般的な規則を適用すると、文言リストがＸ、Ｙ、およびＺから構成される前述の例における連結語句は、それぞれ、１つ以上のＸ、１つ以上のＹ、１つ以上のＺ、１つ以上のＸおよび１つ以上のＹ、１つ以上のＹおよび１つ以上のＺ、１つ以上のＸおよび１つ以上のＺ、および、１つ以上のＸ、１つ以上のＹおよび１つ以上のＺを包含する。

【0088】

本開示の趣旨および範囲から逸脱することなく、種々、修正したり追加したりすることができる。上述の様々な実施形態のそれぞれの特徴は、関連する新たな実施形態において多数の特徴の組み合わせを提供するために、適切な場合において他の説明済みの実施形態の特徴と組み合わせることができる。さらに、上記ではいくつかの別個の実施形態を説明したが、本明細書で説明したことは、本開示の原理の適用を単に例示するものである。さらに、本明細書の特定の方法は、特定の順序で実行されるものとして図示および／または説明され得るが、順序付けは、本開示の態様を達成するために、当業者の範囲内で非常に可変である。したがって、この説明は、例としてのみ解釈されることが意図され、さもなければ本開示の範囲を限定することは意図されない。

【0089】

代表的な実施形態が上で開示されていると共に、添付の図面の中で示されてきた。本開示の趣旨および範囲から逸脱することなく、本明細書に具体的に開示されるものに対して種々、変更したり、省略したり、追加したりすることができることが、当業者に理解されるであろう。

【図1】

【図1A】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】