特表 2022-554407 背景からの被写体の抽出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】背景からの被写体の抽出

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221221BHJP

   H04N 5/225 20060101ALI20221221BHJP

   G03B 15/02 20210101ALI20221221BHJP

   G03B 15/00 20210101ALI20221221BHJP

   G03B 35/02 20210101ALI20221221BHJP

   G02B 7/28 20210101ALI20221221BHJP

   G06T 7/13 20170101ALI20221221BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 600

G03B15/02 G

G03B15/00 Q

G03B35/02

G02B7/28 N

G06T7/13

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022526778

(86)(22)【出願日】2020-12-10

(85)【翻訳文提出日】2022-05-10

(86)【国際出願番号】 US2020064306

(87)【国際公開番号】W WO2021119308

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,655

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/990,267

(32)【優先日】2020-08-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】サウアーマン フィリックス

【テーマコード（参考）】

2H059

2H151

5C122

5L096

【Ｆターム（参考）】

2H059AA10

2H151CE23

5C122DA03

5C122DA16

5C122EA42

5C122EA55

5C122FA18

5C122FB17

5C122FH03

5C122FH11

5C122FH14

5C122GG04

5L096AA02

5L096AA03

5L096AA06

5L096BA08

5L096CA05

5L096DA01

5L096FA06

5L096GA40

(57)【要約】

被写体のビデオキャプチャは、第１のカメラを使用して、前記被写体のビデオデータをキャプチャするステップと、第１及び第２のカメラが同じ視野を共有するように、前記第１のカメラにリンクされる第２のカメラを使用して、前記被写体の赤外線（ＩＲ）ビデオデータをキャプチャするステップであって、前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするためのＩＲ光に感応する、ステップと、少なくとも１つのＩＲ光源で前記被写体を照明するステップと、前記第１のカメラからの前記ビデオデータ及び前記第２のカメラからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記照明された被写体の輪郭を識別するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体のビデオキャプチャのための方法であって、前記方法は、
第１のカメラを使用して、前記被写体のビデオデータをキャプチャするステップと、
前記第１のカメラにリンクされる第２のカメラを使用して、前記被写体の赤外線（ＩＲ）ビデオデータをキャプチャするステップであって、
前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするためのＩＲ光に感応する、ステップと、
少なくとも１つのＩＲ光源で前記被写体を照明するステップと、
前記第１のカメラからの前記ビデオデータ及び前記第２のカメラからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記照明された被写体の輪郭を識別するステップと、
を含むことを特徴とする方法。

【請求項2】

前記第１のカメラは、画像キャプチャのために使用される少なくとも１つのＲＧＢカラーカメラを含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするための少なくとも１つのＩＲセンサを含むことを特徴とする、請求項１に記載の方法。

【請求項4】

前記第１のカメラは、ビームスプリッタによって、前記第２のカメラにリンクされることを特徴とする、請求項１に記載の方法。

【請求項5】

前記ビームスプリッタは、前記第１のカメラ上の全ての画素が前記第２のカメラ上の対応物も有するように、前記第１のカメラと前記第２のカメラとを位置合わせできるようにすることを特徴とする、請求項４に記載の方法。

【請求項6】

前記少なくとも１つのＩＲ光源が前記被写体の背面を照明するように、前記被写体の背後及び周囲に、前記少なくとも１つのＩＲ光源を位置決めするステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項7】

壁及び床にＩＲ吸収性材料を取り付けるステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項8】

前記第１のカメラから前記被写体までの距離を測定するステップと、
前記距離及びコントラスト検出を使用して、前記輪郭の前記識別を強調するステップと、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項9】

ビデオキャプチャのためのシステムであって、前記システムは、
レンズを有し、被写体のビデオデータをキャプチャするための少なくとも１つのカメラと、
前記少なくとも１つのカメラの前記レンズに接続されて、前記少なくとも１つのカメラから前記被写体までのフォーカス距離を測定するためのエンコーダと、
前記少なくとも１つのカメラにリンクされる少なくとも１つのＩＲセンサであって、前記少なくとも１つのＩＲセンサは、前記被写体のＩＲビデオデータをキャプチャするためのＩＲ光に感応する、少なくとも１つのＩＲセンサと、
少なくとも１つのＩＲ光源と、
前記少なくとも１つのカメラ及び前記少なくとも１つのＩＲセンサに接続されて、前記少なくとも１つのカメラからの前記ビデオデータ及び前記少なくとも１つのＩＲセンサからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記被写体の輪郭を識別するように構成されるビデオプロセッサと、
を含むことを特徴とするシステム。

【請求項10】

前記少なくとも１つのカメラ及び前記少なくとも１つのＩＲセンサの各々が同じ視野を有するように、前記被写体からの光を２つに分岐するためのビームスプリッタ、
を更に含むことを特徴とする、請求項９に記載のシステム。

【請求項11】

前記少なくとも１つのカメラ上の全ての画素が前記少なくとも１つのＩＲセンサ上の対応物を有するように、前記ビームスプリッタを位置合わせすることを特徴とする、請求項１０に記載のシステム。

【請求項12】

前記被写体の背後及び周囲から前記被写体を照明するように、前記少なくとも１つのＩＲ光源を位置決めすることを特徴とする、請求項９に記載のシステム。

【請求項13】

前記被写体の背面を照明して前記被写体の良好な輪郭を提供するように、前記少なくとも１つのＩＲ光源を設定することを特徴とする、請求項９に記載のシステム。

【請求項14】

壁及び床に取り付けられるＩＲ吸収性材料、
を更に含むことを特徴とする、請求項９に記載のシステム。

【請求項15】

フォーカス距離を使用して、前記被写体を強調して環境から前記被写体を分離するためのサブプロセッサ、
を更に含むことを特徴とする、請求項９に記載のシステム。

【請求項16】

前記フォーカス距離でコントラスト検出を実行するためのサブプロセッサ、
を更に含むことを特徴とする、請求項９に記載のシステム。

【請求項17】

被写体のビデオをキャプチャするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
第１のカメラを使用して、前記被写体のビデオデータをキャプチャすることと、
前記第１のカメラにリンクされる第２のカメラを使用して、前記被写体のＩＲビデオデータをキャプチャすることであって、
前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするためのＩＲ光に感応する、ことと、
少なくとも１つのＩＲ光源に前記被写体を照明するように命令することと、
前記第１のカメラからの前記ビデオデータ及び前記第２のカメラからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記照明された被写体の輪郭を識別することと、
を行わせる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項18】

前記第１のカメラ及び前記第２のカメラの各々が同じ視野を有するように前記被写体からの光を２つに分岐するように、ビームスプリッタに命令すること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１７に記載のコンピュータ可読記憶媒体。

【請求項19】

前記第１のカメラのレンズに接続されるエンコーダを使用して、前記第１のカメラから前記被写体までのフォーカス距離を測定することと、
前記フォーカス距離でコントラスト検出を実行することと、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１７に記載のコンピュータ可読記憶媒体。

【請求項20】

前記コントラスト検出を使用して、前記輪郭の前記識別を強調すること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１９に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、被写体及び環境のビデオデータをキャプチャすることに関し、具体的には、ビデオデータをキャプチャして、グリーンスクリーンの必要なく環境から被写体を抽出することに関する。

【背景技術】

【0002】

[0002] ビデオ制作のための従来のシステムでは、グリーンスクリーンを使用して、被写体を抽出する。しかしながら、グリーンスクリーンの使用は、照明がバランスの良いものではない場合、結果が不自然に見える場合があり、プロセスは費用がかかり面倒である可能性があるという不利益がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[0003] 本開示は、被写体及び環境のビデオデータをキャプチャして、グリーンスクリーンの必要なく環境から被写体を抽出することを提供する。

【課題を解決するための手段】

【0004】

[0004] １つの実装では、被写体のビデオキャプチャのための方法を開示する。前記方法は、第１のカメラを使用して、前記被写体のビデオデータをキャプチャするステップと、前記第１のカメラにリンクされる第２のカメラを使用して、前記被写体の赤外線（ＩＲ）ビデオデータをキャプチャするステップであって、前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするためのＩＲ光に感応する、ステップと、少なくとも１つのＩＲ光源で前記被写体を照明するステップと、前記第１のカメラからの前記ビデオデータ及び前記第２のカメラからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記照明された被写体の輪郭を識別するステップと、を含む。

【0005】

[0005] １つの実装では、前記第１のカメラは、画像キャプチャのために使用される少なくとも１つのＲＧＢカラーカメラを含む。１つの実装では、前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするための少なくとも１つのＩＲセンサを含む。１つの実装では、前記第１のカメラは、ビームスプリッタによって、前記第２のカメラにリンクされる。１つの実装では、前記ビームスプリッタは、前記第１のカメラ上の全ての画素が前記第２のカメラ上の対応物も有するように、前記第１のカメラと前記第２のカメラとを位置合わせできるようにする。１つの実装では、前記方法は、前記少なくとも１つのＩＲ光源が前記被写体の背面を照明するように、前記被写体の背後及び周囲に、前記少なくとも１つのＩＲ光源を位置決めするステップ、を更に含む。１つの実装では、前記方法は、壁及び床にＩＲ吸収性材料を取り付けるステップ、を更に含む。１つの実装では、前記方法は、前記第１のカメラから前記被写体までの距離を測定するステップと、前記距離及びコントラスト検出を使用して、前記輪郭の前記識別を強調するステップと、を更に含む。

【0006】

[0006] 別の実装では、ビデオキャプチャのためのシステムを開示する。前記システムは、レンズを有し、被写体のビデオデータをキャプチャするための少なくとも１つのカメラと、前記少なくとも１つのカメラの前記レンズに接続されて、前記少なくとも１つのカメラから前記被写体までのフォーカス距離を測定するためのエンコーダと、前記少なくとも１つのカメラにリンクされる少なくとも１つのＩＲセンサであって、前記少なくとも１つのＩＲセンサは、前記被写体のＩＲビデオデータをキャプチャするためのＩＲ光に感応する、少なくとも１つのＩＲセンサと、少なくとも１つのＩＲ光源と、前記少なくとも１つのカメラ及び前記少なくとも１つのＩＲセンサに接続されて、前記少なくとも１つのカメラからの前記ビデオデータ及び前記少なくとも１つのＩＲセンサからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記被写体の輪郭を識別するように構成されるビデオプロセッサと、を含む。

【0007】

[0007] １つの実装では、前記システムは、前記少なくとも１つのカメラ及び前記少なくとも１つのＩＲセンサの各々が同じ視野を有するように、前記被写体からの光を２つに分岐するためのビームスプリッタ、を更に含む。１つの実装では、前記少なくとも１つのカメラ上の全ての画素が前記少なくとも１つのＩＲセンサ上の対応物を有するように、前記ビームスプリッタを位置合わせする。１つの実装では、前記被写体の背後及び周囲から前記被写体を照明するように、前記少なくとも１つのＩＲ光源を位置決めする。１つの実装では、前記被写体の背面を照明して前記被写体の良好な輪郭を提供するように、前記少なくとも１つのＩＲ光源を設定する。１つの実装では、前記システムは、壁及び床に取り付けられるＩＲ吸収性材料、を更に含む。１つの実装では、前記システムは、フォーカス距離を使用して、前記被写体を強調して環境から前記被写体を分離するためのサブプロセッサ、を更に含む。１つの実装では、前記システムは、前記フォーカス距離でコントラスト検出を実行するためのサブプロセッサ、を更に含む。

【0008】

[0008] 別の実装では、被写体のビデオをキャプチャするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、第１のカメラを使用して、前記被写体のビデオデータをキャプチャすることと、前記第１のカメラにリンクされる第２のカメラを使用して、前記被写体のＩＲビデオデータをキャプチャすることであって、前記第２のカメラは、前記被写体の前記ＩＲビデオデータをキャプチャするためのＩＲ光に感応する、ことと、少なくとも１つのＩＲ光源に前記被写体を照明するように命令することと、前記第１のカメラからの前記ビデオデータ及び前記第２のカメラからの前記ＩＲビデオデータを処理して、前記ＩＲビデオデータを使用して、前記ビデオデータにおいて前記照明された被写体の輪郭を識別することと、を行わせる。

【0009】

[0009] １つの実装では、前記コンピュータ可読記憶媒体は、前記第１のカメラ及び前記第２のカメラの各々が同じ視野を有するように前記被写体からの光を２つに分岐するように、ビームスプリッタに命令すること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記コンピュータ可読記憶媒体は、前記第１のカメラのレンズに接続されるエンコーダを使用して、前記第１のカメラから前記被写体までのフォーカス距離を測定することと、前記フォーカス距離でコントラスト検出を実行することと、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記コンピュータ可読記憶媒体は、前記コントラスト検出を使用して、前記輪郭の前記識別を強調すること、を前記コンピュータに行わせる実行可能命令を更に含む。

【0010】

[0010] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0011】

[0011] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の１つの実装による、被写体のビデオキャプチャのための方法のフロー図である。

【図2】本開示の１つの実装による、被写体のビデオキャプチャのためのシステムのブロック図である。

【図3A】本開示の実装による、コンピュータシステム及びユーザの図である。

【図3B】本開示の実装による、被写体抽出アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0013】

[0016] 上記のように、ビデオ制作において被写体を抽出するためにグリーンスクリーンを使用することは、照明がバランスのとれたものではない場合、結果が不自然に見える場合があるという不利益がある。更に、プロセスは、費用がかかり面倒である可能性がある。

【0014】

[0017] 本開示の特定の実装は、被写体及び環境のビデオデータをキャプチャして、グリーンスクリーンの必要なく環境から被写体を抽出するための技術を実装するための方法及びシステムを提供する。このような１つの実装では、このシステムは、動的照明又は極めて低い光状況に影響されない方法を使用する。

【0015】

[0018] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0016】

[0019] １つの実装では、ビデオシステムは、ビデオ制作又はスタジオ環境で使用され、画像キャプチャのための少なくとも１つのカメラと、少なくとも１つのセンサと、カメラデータ及びセンサデータを処理するための少なくとも１つのプロセッサとを含む。

【0017】

[0020] １つの実装では、ビデオデータをキャプチャするための技術は、（ａ）メインキャプチャカメラのイメージプレーンから被写体までのフォーカス距離をリアルタイムで決定すること、（ｂ）画素間の一致のために、ＩＲ感応カメラをメインキャプチャカメラにリンクすること、（ｃ）被写体を照明するために、被写体の周囲及び背後にＩＲ光源を位置決めすること、及び（ｄ）フォーカス距離を使用して、かつソフトウェアソリューションを使用して更に画定及び最適化することによって、被写体のエッジを画定して環境から被写体を抽出すること、を含む。

【0018】

[0021] １つの実装では、ビデオデータをキャプチャするための技術のパート（ａ）は、メインキャプチャカメラからのリアルタイムのフォーカス距離を測定することを含む。これは、適切なレンズマッピングを含むメインキャプチャカメラのレンズ上のエンコーダを使用して行うことができる。

【0019】

[0022] １つの実装では、ビデオデータをキャプチャするための技術のパート（ｂ）は、例えばビームスプリッタによって、ＩＲ光にのみ感応する第２のカメラをメインキャプチャカメラにリンクすることを含む。別の実装では、メインキャプチャカメラは、ＲＧＢ画像センサとして構成され、第２のカメラは、ＩＲ画像センサとして構成される。１つの実装では、ＲＧＢ画像センサ上の全ての画素又はセンセル（ｓｅｎｓｅｌ）がＩＲ画像センサ上の対応物も有するように、ＲＧＢ画像センサとＩＲ画像センサとを位置合わせする。

【0020】

[0023] １つの実装では、ビデオデータをキャプチャするための技術のパート（ｃ）は、ＩＲ光源が被写体の背面を照明して被写体の良好な輪郭を提供するように、被写体の背後及び周囲にＩＲ光源を位置決めして、光源を設定することを含む。すなわち、カメラと（単複の）ＩＲ光源との間に、被写体を位置決めする。１つの実装では、壁及び床にＩＲ吸収性材料を取り付けて、反射を最小にして、背景のＩＲ照明を実質的に低減する。別の実装では、壁及び床以外のオブジェクトが、同様の特性（例えば吸光性）を備えることができる。例えば、オブジェクトは、カーテン状のオブジェクトを含むことができる。更に別の実装では、オブジェクトの表面に、ＩＲ吸収特性を付与することができる。更なる実装では、望ましい位置にシャワーカーテン状のオブジェクトを配置して、可視光を透過するが、ＩＲ光を遮断することができる。これらの設定は、被写体のエッジを明瞭に画定して、ＩＲ光スペクトル内の背景から分離できるようにすることができる。

【0021】

[0024] １つの実装では、ビデオデータをキャプチャするための技術のパート（ｄ）は、フォーカス距離及びソフトウェアソリューションを使用して、被写体の画定及び環境からの被写体の分離を強調することを含む。このプロセスを支援するために、被写体に焦点が合っていて、画像のシャープ領域も最も高いコントラスト量を含む領域であると仮定する。したがって、必要な場合には、（フォーカス距離での）コントラスト検出及び／又は機械学習を使用して、いかなる望ましくないジオメトリ又はアーチファクトも除去することができる。したがって、上記の強化された技術を使用して、高品質のＩＲマットを作成して、画像解像度が十分に高い場合には、背景から被写体の毛髪でさえも分離することができる。

【0022】

[0025] 図１は、本開示の１つの実装による、被写体のビデオキャプチャのための方法１００のフロー図である。図１に示す実装では、ステップ１１０において、レンズを有する第１のカメラを使用して、被写体のビデオデータをキャプチャする。１つの実装では、第１のカメラは、画像キャプチャのために使用される少なくとも１つのＲＧＢカラーカメラを表す。ステップ１２０において、第１のカメラのレンズに接続されるエンコーダを使用して、第１のカメラから被写体までの距離を測定する。

【0023】

[0026] １つの実装では、次に、ステップ１３０において、第１のカメラにリンクされる第２のカメラを使用して、被写体のＩＲビデオデータをキャプチャする。１つの実装では、第２のカメラは、ＩＲ光に感応するものであり、被写体のＩＲビデオデータをキャプチャするための少なくとも１つのＩＲセンサを表す。１つの実装では、第１のカメラは、ビームスプリッタによって、第２のカメラにリンクされる。１つの実装では、第１のカメラ上の全ての画素又はセンセル（ｓｅｎｓｅｌ）が第２のカメラ上の対応物も有するように、第１のカメラと第２のカメラとを位置合わせする。

【0024】

[0027] １つの実装では、ステップ１４０において、少なくとも１つのＩＲ光源で被写体を照明する。このステップは、ＩＲ光源が被写体の背面を照明して被写体の良好な輪郭を提供するように、被写体の背後及び周囲にＩＲ光源を位置決めして、光源を設定することを更に含むことができる。すなわち、カメラと（単複の）ＩＲ光源との間に、被写体を位置決めする。壁及び床にＩＲ吸収性材料を取り付けて、反射を最小にする。したがって、この設定は、被写体のエッジを明瞭に画定して、ＩＲ光スペクトル内の背景から分離できるようにする。

【0025】

[0028] ステップ１５０において、（例えば少なくとも１つのプロセッサを使用して）第１のカメラからのビデオデータ及び第２のカメラからのＩＲビデオデータを処理して、ＩＲビデオデータを使用して、ビデオデータにおいて照明された被写体の輪郭を識別する。このステップは、フォーカス距離及びソフトウェアソリューションを使用して、被写体の画定及び環境からの被写体の分離を強調することを更に含むことができる。このプロセスを支援するために、被写体に焦点が合っていて、画像のシャープ領域も最も高いコントラスト量を含む領域であると仮定する。したがって、必要な場合には、コントラスト検出及び／又は機械学習を使用して、いかなる望ましくないジオメトリ又はアーチファクトも除去することができる。したがって、上記の強化された技術を使用して、高品質のＩＲマットを作成して、画像解像度が十分に高い場合には、背景から被写体の毛髪でさえも分離することができる。

【0026】

[0029] 図２は、本開示の１つの実装による、被写体のビデオキャプチャのためのシステム２００のブロック図である。図２に示す実装では、システム２００は、少なくとも１つのカメラ２３０と、少なくとも１つのＩＲセンサ２４０と、少なくとも１つのＩＲ光源２１０、２１２、２１４、２１６と、プロセッサ２５０とを含む。

【0027】

[0030] １つの実装では、カメラ２３０は、被写体のビデオデータをキャプチャする。カメラ２３０は、レンズを含む。１つの実装では、カメラ２３０のレンズに接続されるエンコーダ２３２を使用して、カメラ２３０のイメージプレーンから被写体２６０までのフォーカス距離を測定する。１つの実装では、ＩＲセンサ２４０は、カメラ２３０にリンクされて、被写体２６０のＩＲビデオデータをキャプチャするために使用される。１つの実装では、カメラ２３０は、ビームスプリッタ２２０によって、ＩＲセンサ２４０にリンクされる。ビームスプリッタ２２０は、カメラ２３０及びＩＲセンサ２４０の各々が同じ視野を有するように、被写体２６０からの光を２つに分岐する。１つの実装では、カメラ２３０上の全ての画素がＩＲセンサ２４０上の対応物も有するように、カメラ２３０とＩＲセンサ２４０とを位置合わせする。

【0028】

[0031] １つの実装では、ＩＲ光源２１０、２１２、２１４、２１６は、被写体の前方から（図２の光源２１４を参照）を含めて、被写体の背後及び周囲から被写体を照明する。光源２１０、２１２、２１４、２１６が被写体の背面を照明して被写体の良好な輪郭を提供するように、光源２１０、２１２、２１４、２１６を設定する。すなわち、カメラ２３０／センサ２４０とＩＲ光源２１０、２１２、２１４、２１６との間に、被写体を位置決めすることができる。壁及び床にＩＲ吸収性材料を取り付けて、反射を最小にする。したがって、この設定は、被写体のエッジを明瞭に画定して、ＩＲ光スペクトル内の背景から分離できるようにする。

【0029】

[0032] １つの実装では、プロセッサ２５０は、カメラ２３０からのビデオデータ及びＩＲセンサ２４０からのＩＲビデオデータを処理して、（ＩＲビデオデータを使用してビデオデータにおいて）照明された被写体の輪郭を識別する。測定されたフォーカス距離を使用して、被写体の画定及び環境からの被写体の分離を強調する。１つの実装では、プロセッサ２５０は、フォーカス距離を使用して、被写体の強調及び環境からの被写体の分離を行うためのサブプロセッサ２５２を含む。このプロセスを支援するために、被写体に焦点が合っていて、画像のシャープ領域も最も高いコントラスト量を含む領域であると仮定する。したがって、１つの実装では、サブプロセッサ２５２は、フォーカス距離でコントラスト検出を実行する。サブプロセッサ２５２は、必要な場合には、機械学習を実行して、いかなる望ましくないジオメトリ又はアーチファクトも除去することもできる。

【0030】

[0033] 図３Ａは、本開示の実装による、コンピュータシステム３００及びユーザ３０２の図である。ユーザ３０２は、コンピュータシステム３００を使用して、図１の方法１００及び図２のシステム２００に関して図示及び説明されるような被写体抽出のためのアプリケーション３９０を実装する。

【0031】

[0034] コンピュータシステム３００は、図３Ｂの被写体抽出アプリケーション３９０を記憶して実行する。更に、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することができる。ソフトウェアプログラム３０４は、被写体抽出アプリケーション３９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム３０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0032】

[0035] 更に、コンピュータシステム３００は、ネットワーク３８０に接続することができる。ネットワーク３８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク３８０は、被写体抽出アプリケーション３９０内で使用されるエンジン及びデータを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0033】

[0036] 図３Ｂは、本開示の実装による、被写体抽出アプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御して、例えば、被写体及び環境のビデオデータをキャプチャするためのデータ処理を提供する。その実行において、コントローラ３１０は、被写体抽出アプリケーション３９０にソフトウェアシステムを提供して、例えば、グリーンスクリーンの必要なく環境から被写体を抽出する。代替的に、このサービスは、コントローラ３１０又はコンピュータシステム３００において別個のハードウェアコンポーネントとして実装することができる。

【0034】

[0037] メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ３２０はＲＡＭとして実装される。１つの実装では、メモリ３２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0035】

[0038] ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ３３０は、被写体抽出アプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０は、ハードディスクドライブである。

【0036】

[0039] メディアデバイス３４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス３４０は、光ディスクドライブである。

【0037】

[0040] ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからユーザ入力を受け取ってユーザ３０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用して、コンピュータシステム３００の動作を調整する。

【0038】

[0041] Ｉ／Ｏインターフェイス３６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0039】

[0042] ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0040】

[0043] コンピュータシステム３００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図３Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0041】

[0044] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、ビデオ制作に加えて、ライブプリビジュアライゼーション及びポストビジュアライゼーションのための映画、ライブプリビジュアライゼーション及びポストビジュアライゼーションのためのテレビ番組、任意のスタジオ環境における放送、及びバーチャルプロダクション全般などの他の用途に、本システム及び方法の実装を適用して適合させることができる。

【0042】

[0045] 他の変形も可能である。例えば、ビデオキャプチャの被写体に、システムがイメージプレーンからのフォーカス距離を常に追跡できるようにする装置を取り付ける。代替的に、フォーカス距離を全く別個に測定する。この別個の測定は、被写体のＩＲキー抽出から独立したメインカメラのフォーカス制御を可能にする。更なる変形及び実装も可能である。例えば、映画又はテレビジョンのためのビデオ制作に加えて、バーチャルプロダクション（例えば仮想現実環境）、放送ビデオ（例えばスポーツ、天気等）、通常グリーンスクリーン又はクロマキーを使用する、又はいくつかの状況／シーンのためにグリーンスクリーンを使用するがその他では使用しないビデオ又は画像キャプチャなどの他の用途に、本システム及び方法の実装を適用して適合させることができる。いくつかの実装では、グリーンスクリーンを除去することによって、そうでなければ、グリーンスクリーンを使って行う時に制限される動的及び／又は劇的照明をより優先することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0043】

[0046] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0044】

１００ 被写体のビデオキャプチャのための方法
１１０ レンズを有する第１のカメラを使用して、被写体のビデオデータをキャプチャ
１２０ 第１のカメラのレンズに接続されるエンコーダを使用して、第１のカメラから被写体までの距離を測定
１３０ 第１のカメラにリンクされる第２のカメラを使用して、被写体のＩＲビデオデータをキャプチャ
１４０ 少なくとも１つのＩＲ光源で被写体を照明
１５０ 第１のカメラからのビデオデータ及び第２のカメラからのＩＲビデオデータを処理して、ＩＲビデオデータを使用して、ビデオデータにおいて照明された被写体の輪郭を識別
２００ 被写体のビデオキャプチャのためのシステム
２１０，２１２，２１４，２１６ ＩＲ光源
２２０ ビームスプリッタ
２３０ カメラ
２３２ エンコーダ
２４０ ＩＲセンサ
２５０ プロセッサ
２５２ サブプロセッサ
２６０ 被写体
３００ コンピュータシステム
３０２ ユーザ
３０４ ソフトウェアプログラム
３１０ コントローラ
３２０ メモリ
３３０ ストレージ
３４０ メディアデバイス
３５０ ユーザインターフェイス
３６０ Ｉ／Ｏインターフェイス
３７０ ネットワークインターフェイス
３８０ ネットワーク
３８５ サーバ
３９０ 被写体抽出アプリケーション

【図1】

【図2】

【図3A】

【図3B】

【国際調査報告】