特許 6837498 ３次元画像をキャプチャおよび生成するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6837498

(24)【登録日】2021年2月12日

(45)【発行日】2021年3月3日

(54)【発明の名称】３次元画像をキャプチャおよび生成するためのシステムおよび方法

(51)【国際特許分類】

   H04N 13/254 20180101AFI20210222BHJP

   H04N 13/271 20180101ALI20210222BHJP

   H04N 13/257 20180101ALI20210222BHJP

   H04N 13/296 20180101ALI20210222BHJP

   G01C 3/06 20060101ALI20210222BHJP

【ＦＩ】

   H04N13/254

   H04N13/271

   H04N13/257

   H04N13/296

   G01C3/06 120R

   G01C3/06 140

【請求項の数】11

【全頁数】9

(21)【出願番号】特願2018-562552(P2018-562552)

(86)(22)【出願日】2016年6月3日

(65)【公表番号】特表2019-528582(P2019-528582A)

(43)【公表日】2019年10月10日

(86)【国際出願番号】TR2016000078

(87)【国際公開番号】WO2017209707

(87)【国際公開日】20171207

【審査請求日】2019年5月29日

(73)【特許権者】

【識別番号】514210049

【氏名又は名称】ウトゥク・ビュユクシャヒン

【氏名又は名称原語表記】Ｕｔｋｕ ＢＵＹＵＫＳＡＨＩＮ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(72)【発明者】

【氏名】ウトゥク・ビュユクシャヒン

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００４−１３３９１９（ＪＰ，Ａ）

【文献】 国際公開第２００９／０９１０３８（ＷＯ，Ａ１）

【文献】 特開平０４−２９７８８７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２０８０５７（ＵＳ，Ａ１）

【文献】 国際公開第２０１３／１３６８１５（ＷＯ，Ａ１）

【文献】 特開２０１３−２１４９７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／２３２

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

複数の障害物（４）を有するターゲットの３次元画像をキャプチャおよび生成する３次元画像生成システムであって、
強度が調節可能な少なくとも１つの光源（１）と、
前記ターゲットの画像をキャプチャする少なくとも１つの画像レコーダ（２）と、
一つの期間内に前記光源（１）の強度を増加させるまたは減少させることによって前記光源（１）を制御し、前記期間内に前記ターゲットの複数の画像をキャプチャするために前記画像レコーダ（２）を制御し、そして、３次元画像をキャプチャおよび生成するために、前記期間内においてキャプチャされた画像間の障害物（４）の照度レベル変化および色差変化を比較することによって前記障害物（４）の奥行きを算出する少なくとも１つの制御ユニットと、を有し、
前記光源（１）の強度が段階的にまたは連続的に変化する３次元画像生成システム。

【請求項2】

光源（１）の色が、前記制御ユニットによって調節可能である、請求項１に記載の３次元画像生成システム。

【請求項3】

光源（１）の光強度が半球状に広がる、請求項１に記載の３次元画像生成システム。

【請求項4】

複数の障害物（４）を有するターゲットの３次元画像をキャプチャおよび生成する３次元画像生成方法であって、
１つの期間内に、前記ターゲットを照らす少なくとも１つの光源（１）の強度を増加させるまたは減少させる工程と、
前記期間内に、少なくとも１つの画像レコーダ（２）を介して前記ターゲットの画像をキャプチャする工程と、
３次元画像をキャプチャおよび生成するために、少なくとも１つの制御ユニットを介して、前記期間においてキャプチャされた画像間の障害物（４）の照度レベル変化および色差変化を比較することにより、前記障害物（４）の奥行きを算出する工程と、を含み、
前記光源（１）の強度が段階的にまたは連続的に変化する、３次元画像生成方法。

【請求項5】

算出された障害物（４）の奥行きを用いてキャプチャされた少なくとも１つの画像の隆起マップを算出する工程をさらに含んでいる、請求項４に記載の３次元画像生成方法。

【請求項6】

光源（１）の強度が段階的に変化する場合、強度ステップが離散的に変化する、請求項４に記載の３次元画像生成方法。

【請求項7】

光源（１）の強度が段階的に変化する場合、強度ステップが連続的に変化する、請求項４に記載の３次元画像生成方法。

【請求項8】

光源（１）の強度が段階的に変化する場合、ステップそれぞれの幅が、画像レコーダ（２）のシャッタースピードに対して等しいまたは大きい、請求項４に記載の３次元画像生成方法。

【請求項9】

光源（１）の色が変化され、光源（１）の新しい色毎に、少なくとも１つの光源（１）の強度を増加させるまたは減少させる工程、少なくとも１つの画像レコーダ（２）を介して前記ターゲットの画像をキャプチャする工程、および前記障害物（４）の奥行きを算出する工程が繰り返される、請求項４に記載の３次元画像生成方法。

【請求項10】

障害物（４）の初期サイズを算出する工程と、動画をレコーディングする工程とをさらに含み、
前記レコーディング中の障害物（４）の奥行き変化を、算出された初期サイズに対するサイズ変化にしたがって算出する、請求項４に記載の３次元画像生成方法。

【請求項11】

算出された障害物（４）の深さ情報を用いて前景の物体と背景の物体とを区別する工程をさらに含む、請求項４に記載の３次元画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１つのカメラを用いてターゲットの３次元画像を生成するためのシステムおよび方法に関する。

【背景技術】

【0002】

ターゲットである要素または風景の３次元画像は、通常、複数の（少なくとも２つの）画像レコーダ（カメラ）を用いて生成される。画像レコーダそれぞれは、異なる角度でそのターゲットである要素または風景をレコーディングする。その複数の画像レコーダによってレコーディングされた複数の画像を結合することにより、ターゲットである要素や風景の奥行き情報が生成される。そして、その奥行き情報を用いることにより、ターゲットである要素や風景の３次元画像が生成される。

【0003】

奥行き情報を生成するために、多くの公知の技術は、少なくとも２つの画像レコーダを必要とする。しかしながら、２つの画像レコーダを使用することは高価な方法である。さらに、１つのデバイス（例えば携帯電話のような携帯デバイス）上で２つの画像レコーダを使用することは、そのデバイスにおいて熱問題を引き起こす。

【0004】

上述の問題を解消するために、１つの画像レコーダを用いて３Ｄ画像を生成するシステムが提案されている。Ｔｈｏｍａｓ ＬｕとＴｉｅｎ−Ｈｓｉｎ Ｃｈａｏの論文”Ａ ｓｉｎｇｌｅ−ｃａｍｅｒａ ｓｙｓｔｅｍ ｃａｐｔｕｒｅｓ ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ３Ｄ ｉｍａｇｅｓ ｉｎ ｏｎｅ ｓｈｏｔ”（ＤＯＩ：１０．１１１７／２．１２００６１１．０３０３）には、１つのカメラを用いて３次元画像をキャプチャするシステムおよび方法が開示されている。この論文によれば、異なる角度からの２つの異なる画像をキャプチャするために、光学システムがカメラに取り付けられる。そして、それらの画像を結合することにより、３次元画像を生成する。しかしながら、この論文によれば、２つの異なる画像が同時に生成されるために、それぞれの画像の解像度がカメラの解像度の半分である。言い換えると、この論文によれば、生成される３次元画像の解像度はカメラの実際の解像度に比べて低い。さらに、この方法では、あまり見られない光学システムが必要であり、また、カメラの寸法が増加する。それゆえ、この方法は、サイズが制限されている携帯デバイスには使用されない。

【発明の概要】

【0005】

本発明によれば、１つのカメラを用いてターゲットの３次元画像を生成するための方法およびシステムが提供される。そのシステムは、強度が調節可能な少なくとも１つの光源と、複数の障害物を有するターゲットの画像をキャプチャする少なくとも１つの画像レコーダと、１つの期間内に前記光源の強度を増加させるまたは減少させることによって前記光源を制御し、前記期間内に前記ターゲットの複数の画像をキャプチャするために前記画像レコーダを制御し、そして、３次元画像をキャプチャおよび生成するために、前記期間内においてキャプチャされた画像間の障害物の照度レベル変化を比較することによって前記障害物の奥行きを算出する少なくとも１つの制御ユニット（図示せず）と、を有する。その方法は、１つの期間内に前記光源の強度を増加させるまたは減少させる工程と、前記期間内に前記画像レコーダを介して前記ターゲットの画像をキャプチャする工程と、３次元画像をキャプチャおよび生成するために、少なくとも１つの制御ユニットを介して、前記期間内おいてキャプチャされた画像間の障害物の照度レベル変化を比較することにより、前記障害物の奥行きを算出する工程と、を含んでいる。

【0006】

本願によれば、３次元画像をキャプチャおよび生成するためには１つの画像レコーダ、強度が調節可能な光源、および制御ユニットがあれば十分なので、携帯電話／スマートフォンなどのカメラを備える携帯デバイスを３次元画像のキャプチャおよび生成のために使用することができる。それゆえ、携帯電話／スマートフォンのハードウェアを変更することなく、３次元画像を容易にキャプチャおよび生成することができる。

【発明の目的】

【0007】

本発明の主な目的は、１つのカメラを用いてターゲットの３次元画像をキャプチャおよび生成するためのシステムおよび方法を提供することである。

【0008】

本発明の別の目的は、携帯デバイス上で容易に実行することができる、３次元画像のキャプチャおよび生成するためのシステムおよび方法を提供することである。

【0009】

本発明の別の目的は、１つのカメラを用いてターゲットの３次元動画をキャプチャおよび生成するためのシステムおよび方法を提供することである。

【0010】

本発明の別の目的は、安価で信頼できる、３次元画像や３次元動画をキャプチャおよび生成するためのシステムおよび方法を提供することである。

【図面の簡単な説明】

【0011】

【図1】本発明の３次元画像キャプチャ生成システムの一例の実施の形態を示す図

【図2】本発明の３次元画像キャプチャ生成システムの別例の実施の形態を示す図

【図3】本発明の例示的な実施の形態における時間に対する光源の強度のグラフを示す図

【図4】本発明の例示的な実施の形態における時間に対する光源の強度の別のグラフを示す図

【0012】

図面内の符号は、以下の意味を持つ。
光源 （１）
画像レコーダ （２）
照射範囲 （３）
障害物 （４）

【発明を実施するための形態】

【0013】

三次元画像は、画像データと奥行きデータ（ｄｅｐｔｈ ｄａｔａ）とを含んでいる。従来の方法においては、ターゲット（物体または風景）の３次元画像をキャプチャおよび生成するために、異なる視点からの複数の画像が使用される。それゆえ、従来の方法は、３次元画像をキャプチャおよび生成するために、複数の画像レコーダ（カメラ）を必要とする。本発明によれば、１つのカメラを用いてターゲットの３次元画像をキャプチャおよび生成するための方法およびシステムが提供される。

【0014】

図１〜図４に例示的な実施の形態で示されている本発明の３次元画像キャプチャ生成システムは、強度が調節可能な少なくとも１つの光源（１）と、複数の障害物（ｏｂｓｔａｃｌｅ）（４）を有するターゲットの画像（二次元画像）をキャプチャする（カメラなどの）少なくとも１つの画像レコーダ（２）と、１つの期間内に前記光源（１）の強度を増加させるまたは減少させることによって前記光源（１）を制御し、前記期間内に前記ターゲットの複数の画像をキャプチャするために前記画像レコーダ（２）を制御し、そして、３次元画像をキャプチャおよび生成するために、前記期間内においてキャプチャされた画像間の障害物（４）の照度レベル変化を比較することによって前記障害物（４）の奥行き（ｄｅｐｔｈ）を算出する少なくとも１つの制御ユニット（図示せず）と、を有する。

【0015】

本発明の３次元画像キャプチャ生成方法は、１つの期間内に少なくとも１つの光源（１）の強度を増加させるまたは減少させ、前記光源（１）が複数の障害物（４）を有するターゲットを照らす工程と、前記期間内に少なくとも１つの画像レコーダ（２）を介して前記ターゲットの複数の画像をキャプチャする工程と、３次元画像をキャプチャおよび生成するために、少なくとも１つの制御ユニットを介して、前記期間においてキャプチャされた画像間の障害物（４）の照度レベル変化を比較することによって前記障害物の奥行きを算出する工程と、を含んでいる。好ましい実施の形態においては、算出された障害物（４）の奥行きを用いることにより、３次元画像アプリケーション内で使用される隆起マップが生成される。

【0016】

図１に示す本発明の例示的な実施の形態においては、１つの期間内に、光源（１）の強度が増加される。その期間の始まりである時点１ａでは、光源（１）の強度は、光源（１）の照射範囲（３）が光源（１）に最も近い障害物（１）のみを照らすことができるように低い。その間、画像レコーダ（２）によってキャプチャされた画像には、光源（１）に最も近くて照らされている障害物（４）のみが写る。光源（１）の強度が増加した時点ａ２では、光源（１）の照射範囲（３）が、光源（１）に対して二番目に使い障害物（４）に到達している。時点１ｂの間、画像レコーダ（２）によってキャプチャされた画像には、光源（１）に近くて照らされている２つの障害物（４）のみが写る。時点１ａと時点１ｂでキャプチャされた画像間における光源（１）に近い２つの障害物（４）の照度レベル変化を比較することにより、光源（１）と複数の障害物（４）との間の距離を算出することができる。時点１ｃ、時点１ｄで光源（１）の強度をさらに増加させ、そしてそれらの時点間における障害物（４）の照度レベル変化を比較することにより、光源（１）と複数の障害物（４）との間の距離を算出することができる。これらの距離の情報と光源（１）と画像レコーダ（２）との間の距離とを用いることにより、画像レコーダ（２）と障害物（４）との間の距離（障害物（４）の奥行き）が算出される。本実施の形態は、比較的に暗い環境に適している。なぜなら、時間の経過とともに照度レベルの増加が明確になるからである。さらに、照射範囲（３）が最大に達すると（図に示す１ｄ、２ａ）、障害物（４）それぞれの色変化の分化レベル（ｃｏｌｏｒ ｃｈａｎｇｅ ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ ｌｅｖｅｌ）にしたがって、照らされた障害物（４）の奥行きオーダーを算出することができる。近い障害物（４）ほど明るくまた色差（ｃｏｌｏｒ ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ）が高く、逆に遠いほど暗くて色差が低い。

【0017】

本発明の代わりの例示的な実施の形態が、図２に示されている。本実施の形態においては、一期間内において、光源（１）の強度は減少する。上述の実施の形態と同様に、異なる時点（時点２ａ−２ｄ）にわたる障害物（４）の照度レベル変化を用いることにより、障害物（４）それぞれの奥行き情報を算出することができる。本実施の形態においては、時間の経過とともに、障害物（４）の照度レベルが減少する。それゆえ、本実施の形態は、比較的に明るい環境に適している。

【0018】

本発明の好ましい実施の形態において、光源（１）の強度は、図３に示すように、段階的に変化する（増加するまたは減少する）。強度のステップは、離散的に変化してもよいし（言い換えると、光源（１）の強度が２つのステップの間の短い期間にゼロになる）、または連続的に変化してもよい（言い換えると、光源（１）の強度が階段状のステップで増加するまたは減少する）。これらの実施の形態においては、ステップの幅（強度レベルそれぞれの時間ギャップ）は、画像レコーダ（２）のシャッタースピード（露光時間）に対して等しいまたは大きい方が好ましく、それにより、光源（１）の強度が露光時間内に変化しない。それゆえ、障害物（４）の照度レベルをより正確に算出することができる。

【0019】

本願の別の好ましい実施の形態において、光源（１）の強度は、図４に示すように、連続的に変化する。

【0020】

本願の別の実施の形態においては、光源（１）の色（波長）は、制御ユニットによって調節することができる。異なる色の障害物（４）は異なる色の光を吸収するため、特定の色の光源（１）によって照らされた場合、障害物（４）の照度レベル変化が明確でない可能性がある。それゆえ、本実施の形態においては、一期間内において障害物（４）の照度レベル変化が明確でない場合、光源（１）の色が変化され、新しい色毎に、少なくとも１つの光源（１）の強度を増加させるまたは減少させる工程、少なくとも１つの画像レコーダ（２）を介して前記ターゲットの画像をキャプチャする工程、および障害物（４）の奥行きを算出する工程が繰り返される。それゆえ、障害物（４）の奥行き情報がより正確に算出される。

【0021】

別の実施の形態において、光源（１）の光強度は半球状に広がる。本実施の形態の場合、障害物の奥行きを、極座標系で算出することができる。

【0022】

本願の別の好ましい実施の形態において、３次元画像キャプチャ生成システムは、３次元動画をキャプチャおよび生成するために使用される。本実施の形態においては、まず上述の方法にしたがって異なる障害物（４）の奥行きが算出されるとともに、キャプチャされた画像内における障害物（４）の初期サイズが算出される（障害物（４）のサイズは、ピクセルで算出される）。次に、上述の画像レコーダ（２）または別の動画レコーディングデバイスを用いて動画がレコーディングされる。そのレコーディング中、障害物（４）の奥行きが変化する可能性がある。その奥行きの変化を算出するために、障害物（４）の相対的なサイズ変化が測定される（ピクセルで測定される）。その相対的なサイズ変化は奥行きの変化に関連しているため、障害物（４）の新しい奥行きを算出することができる。

【0023】

本願の別の好ましい実施の形態において、障害物（４）の奥行きが算出された後、その奥行き情報が、前景の物体と背景の物体の区別に使用される。したがって、背景の物体を別のキャプチャ画像または動画に変更することができる。言い換えると、本アプリケーションのシステムや方法によれば、グリーン（またはブルー）スクリーンがなくても、グリーンボックス（またはブールボックス、あるいは同一の目的の）アプリケーションを使用することができる。

【0024】

本発明によれば、奥行き情報を算出したり、３次元画像をキャプチャおよび生成するためには、１つの画像レコーダ（２）があれば十分である。しかしながら、本願の代わりの実施の形態において、複数の画像レコーダ（２）が使用されてもよい。従来のアプリケーションにおいては、視点が異なる少なくとも２つのカメラが三次元画像の生成のために使用されている。それゆえ、ターゲットの一部分が１つのカメラのみで見える場合、その部分上の凹部／凸部を識別することができない。複数の画像レコーダ（２）を使用する実施の形態は、この問題を解消する。それゆえ、本アプリケーションによれば、より正確な奥行き情報とより正確な三次元画像とをキャプチャおよび生成することができる。

【0025】

本願によれば、３次元画像を生成するためには１つの画像レコーダ（２）、強度が調節可能な光源（１）、および制御ユニットがあれば十分なので、携帯電話／スマートフォンなどのカメラを備える従来の携帯デバイスを３次元画像のキャプチャおよび生成のために使用することができる。それゆえ、携帯電話／スマートフォンのハードウェアを変更することなく、３次元画像を容易にキャプチャおよび生成することができる。

【図1a】

【図1b】

【図1c】

【図1d】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【図4】