特開 2024-7471 没入型ストリーミング画像のキャプチャ及び結像の装置と方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007471

(43)【公開日】2024-01-18

(54)【発明の名称】没入型ストリーミング画像のキャプチャ及び結像の装置と方法

(51)【国際特許分類】

   H04N 21/266 20110101AFI20240110BHJP

   H04N 21/2365 20110101ALI20240110BHJP

   H04N 5/268 20060101ALI20240110BHJP

   G03B 17/56 20210101ALI20240110BHJP

   G03B 19/07 20210101ALI20240110BHJP

   G03B 15/00 20210101ALI20240110BHJP

   G03B 17/18 20210101ALI20240110BHJP

   H04N 7/18 20060101ALI20240110BHJP

【ＦＩ】

H04N21/266

H04N21/2365

H04N5/268

G03B17/56 A

G03B19/07

G03B15/00 P

G03B17/18

H04N7/18 U

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023107056

(22)【出願日】2023-06-29

(31)【優先権主張番号】111124522

(32)【優先日】2022-06-30

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】523254564

【氏名又は名称】光陣三維科技有限公司

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】陳韋廷

【テーマコード（参考）】

2H054

2H102

2H105

5C023

5C054

5C164

【Ｆターム（参考）】

2H054BB05

2H054BB07

2H102AA71

2H102BA12

2H105AA06

5C023AA21

5C023BA15

5C023CA01

5C054CA04

5C054CC02

5C054DA06

5C054FE02

5C054FE17

5C054HA17

5C164FA07

5C164SB13P

5C164SC01P

5C164UB11S

5C164UD44S

(57)【要約】

【課題】没入型ストリーミング画像のキャプチャ及び結像の装置と方法を提供する。
【解決手段】第１画像キャプチャモジュールがキャプチャした撮影対象を含む検出画像により距離パラメータを判断した後、距離パラメータ及び各第２画像キャプチャモジュールと第１画像キャプチャモジュールとの間の装置距離に基づいて各第２画像キャプチャモジュールの回転角度をそれぞれ計算し、各回転角度に基づいて各第２画像キャプチャモジュールの回転を制御した後、第１画像キャプチャモジュール及び各第２画像キャプチャモジュールが同期で生成した第１画像ストリーム及び各第２画像ストリームを含むストリームの組み合わせを生成する技術的手段により、複数の撮影角度を提供するストリーミングメディアの環境を構成する複雑さを減らし、構成者の困難を減少させる技術的効果を達成している。
【選択図】図５

【特許請求の範囲】

【請求項1】

没入型ストリーミング画像のキャプチャ及び結像の装置であって、
複数の画像キャプチャモジュールであって、撮影対象を含む第１検出画像をキャプチャし、且つ前記撮影対象を含む第１対象画像をキャプチャして第１画像ストリームを生成するために用いられている第１画像キャプチャモジュールと、
複数の第２画像キャプチャモジュールであって、各前記第２画像キャプチャモジュールは前記第１画像キャプチャモジュールと同期で第２対象画像をキャプチャし、複数の第２画像ストリームをそれぞれ生成するために用いられている複数の第２画像キャプチャモジュールと、を更に含む複数の画像キャプチャモジュールと、
前記第１検出画像に基づいて距離パラメータを判断し、且つ前記距離パラメータ及び各前記第２画像キャプチャモジュールと前記第１画像キャプチャモジュールとの間の装置距離に基づいて各前記第２画像キャプチャモジュールに対応する各回転角度をそれぞれ計算し、各前記回転角度に基づいて各前記第２画像キャプチャモジュールの回転を制御するために用いられている制御モジュールと、
前記第１画像ストリーム及びこれら前記第２画像ストリームを含むストリームの組み合わせを生成するために用いられている結像モジュールと、を少なくとも備えていることを特徴とする、
没入型ストリーミング画像のキャプチャ及び結像の装置。

【請求項2】

これら前記画像キャプチャモジュールは、前記第１画像キャプチャモジュールと同期で前記撮影対象を含む第２検出画像をキャプチャし、且つ前記第１画像キャプチャモジュールと同期で第３対象画像をキャプチャして第３画像ストリームを生成するために用いられている第３画像キャプチャモジュールを更に備え、前記制御モジュールは同期している前記第１検出画像及び前記第２検出画像に基づいて前記距離パラメータを判断するために更に用いられていることを特徴とする、請求項１に記載の没入型ストリーミング画像のキャプチャ及び結像の装置。

【請求項3】

これら前記画像キャプチャモジュールは弧形に配列され、これら前記画像キャプチャモジュールは同じ平面または複数の平面に配列されていることを特徴とする、請求項１に記載の没入型ストリーミング画像のキャプチャ及び結像の装置。

【請求項4】

前記装置は表示装置に接続され、前記表示装置は前記ストリームの組み合わせを受信し、且つ前記第１画像ストリーム及びこれら前記第２画像ストリームのうちの少なくとも１つを表示するために用いられていることを特徴とする、請求項１に記載の没入型ストリーミング画像のキャプチャ及び結像の装置。

【請求項5】

前記装置は通信モジュール及び表示モジュールを更に備え、前記通信モジュールはビデオストリームを受信するために用いられ、前記表示モジュールは前記ビデオストリームを表示するために用いられていることを特徴とする、請求項１に記載の没入型ストリーミング画像のキャプチャ及び結像の装置。

【請求項6】

前記結像モジュールは、前記装置中におけるこれら前記画像キャプチャモジュールの配列位置またはこれら前記画像キャプチャモジュールのモジュール識別データに基づいて前記ストリームの組み合わせにおける前記第１画像ストリーム及びこれら前記第２画像ストリームの位置を決定することを特徴とする、請求項１に記載の没入型ストリーミング画像のキャプチャ及び結像の装置。

【請求項7】

第１画像キャプチャモジュール及び複数の第２画像キャプチャモジュールを備えている装置に適用される没入型ストリーミング画像のキャプチャ及び結像の方法であって、
前記第１画像キャプチャモジュールがキャプチャした撮影対象を含む第１検出画像に基づいて距離パラメータを判断するステップと、
前記距離パラメータ及び各前記第２画像キャプチャモジュールと前記第１画像キャプチャモジュールとの間の各装置距離に基づいて各前記第２画像キャプチャモジュールの各回転角度をそれぞれ計算するステップと、
各前記回転角度に基づいて各前記第２画像キャプチャモジュールの回転を制御するステップと、
前記第１画像キャプチャモジュールが前記撮影対象を含む第１対象画像をキャプチャして生成する第１画像ストリーム及びこれら前記第２画像キャプチャモジュールが前記第１画像キャプチャモジュールと同期で第２対象画像をキャプチャして生成する各第２画像ストリームを含むストリームの組み合わせを生成するステップと、を少なくとも含むことを特徴とする、
没入型ストリーミング画像のキャプチャ及び結像の方法。

【請求項8】

前記第１画像キャプチャモジュールがキャプチャした前記撮影対象を含む前記第１対象画像に基づいて前記距離パラメータを判断するステップは、前記第１対象画像及び前記第１対象画像と同期でキャプチャする第２検出画像に基づいて前記距離パラメータを判断するステップを更に含むことを特徴とする、請求項７に記載の没入型ストリーミング画像のキャプチャ及び結像の方法。

【請求項9】

前記ストリームの組み合わせを生成するステップは、前記装置中における前記第１画像キャプチャモジュール及びこれら前記第２画像キャプチャモジュールの配列位置または前記第１画像キャプチャモジュール及びこれら前記第２画像キャプチャモジュールのモジュール識別データに基づいて前記ストリームの組み合わせにおける前記第１画像ストリーム及びこれら前記第２画像ストリームの位置を決定することを特徴とする、請求項７に記載の没入型ストリーミング画像のキャプチャ及び結像の方法。

【請求項10】

前記方法は、前記ストリームの組み合わせを表示装置に伝送し、前記表示装置が前記第１画像ストリーム及びこれら前記第２画像ストリームのうちの少なくとも１つを表示するステップを更に含むことを特徴とする、請求項７に記載の没入型ストリーミング画像のキャプチャ及び結像の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のキャプチャ及び結像の装置に関し、更に詳しくは、没入型ストリーミング画像のキャプチャ及び結像の装置と方法に関する。

【背景技術】

【0002】

ハードウェア技術の進歩とネットワーク帯域幅の向上により、インターネットを介したビデオコンテンツの伝送が普及を続けている。現在、インターネットを介したビデオコンテンツの伝送方式は主に、ストリーミングメディアまたはメディアファイル等の方式を使用している。メディアファイル方式はダウンロードしたビデオコンテンツをファイルとして完全に保存した後に再生し、ストリーミングメディアはビデオコンテンツをダウンロードすると同時にビデオコンテンツを再生し、通常はダウンロードしたビデオコンテンツを保存しない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ストリーミングメディアは通常ビデオ・オン・デマンド、ネットＴＶ、テレビ電話、ライブ配信等に使用されている。現在、テレビ電話及びライブ配信の環境の多くは通話者やライブ配信者が１つの画像キャプチャ装置を使用してビデオストリームを生成すると共に、生成したビデオストリームを、インターネットを介して他の通話者やライブ配信の視聴者に伝送しているため、通話やライブ配信を行う過程で、他の通話者やライブ配信の視聴者が同じ撮影角度からしか通話者やライブ配信者を視聴することができず、複数の異なる撮影角度で通話やライブ配信を行う場合、通話者やライブ配信者は複数の画像キャプチャ装置を構成して複数の異なるチャンネルにより通話やライブ配信を行う必要があり、他の通話者やライブ配信の視聴者はチャンネルを切り換えなければ異なる撮影角度の画面を視聴できなかった。このため、通話者やライブ配信者が通話／ライブ配信環境を構成する複雑さや困難さ以外に、他の通話者やライブ配信の視聴者が視聴する撮影角度を切り換えるのも不便であった。

【0004】

以上述べた如く、先行技術には複数の撮影角度を提供するストリーミングメディアの環境を構成するのが撮影者にとって困難であるという問題を引き起こしやすく、よって、改良した技術的手段によってこの問題を解決する必要があった。

【0005】

本発明は、先行技術では複数の撮影角度を提供するストリーミングメディアの環境を構成するのが撮影者にとって困難であるという問題に鑑みて本発明者の鋭意研究により成されたものであり、その目的は、没入型ストリーミング画像のキャプチャ及び結像の装置と方法を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る没入型ストリーミング画像のキャプチャ及び結像の装置は、撮影対象を含む第１検出画像をキャプチャし、且つ前記撮影対象を含む第１対象画像をキャプチャして第１画像ストリームを生成するために用いられている第１画像キャプチャモジュールと、複数の第２画像キャプチャモジュールであって、各前記第２画像キャプチャモジュールは前記第１画像キャプチャモジュールと同期で第２対象画像をキャプチャし、複数の第２画像ストリームをそれぞれ生成するために用いられている複数の第２画像キャプチャモジュールと、前記第１検出画像に基づいて距離パラメータを判断し、且つ前記距離パラメータ及び各前記第２画像キャプチャモジュールと前記第１画像キャプチャモジュールとの間の装置距離に基づいて各前記第２画像キャプチャモジュールに対応する各回転角度をそれぞれ計算し、各前記回転角度に基づいて各前記第２画像キャプチャモジュールの回転を制御するために用いられている制御モジュールと、前記第１画像ストリーム及びこれら前記第２画像ストリームを含むストリームの組み合わせを生成するために用いられている結像モジュールと、を少なくとも備えている。

【0007】

また、上記目的を達成するため、本発明に係る没入型ストリーミング画像のキャプチャ及び結像の方法は、第１画像キャプチャモジュール及び複数の第２画像キャプチャモジュールを備えている装置に応用され、そのステップとして、前記第１画像キャプチャモジュールがキャプチャした撮影対象を含む第１検出画像に基づいて距離パラメータを判断するステップと、前記距離パラメータ及び各前記第２画像キャプチャモジュールと前記第１画像キャプチャモジュールとの間の各装置距離に基づいて各前記第２画像キャプチャモジュールの各回転角度をそれぞれ計算するステップと、各前記回転角度に基づいて各前記第２画像キャプチャモジュールの回転を制御するステップと、前記第１画像キャプチャモジュールが前記撮影対象を含む第１対象画像をキャプチャして生成する第１画像ストリーム及びこれら前記第２画像キャプチャモジュールが前記第１画像キャプチャモジュールと同期で第２対象画像をキャプチャして生成する各第２画像ストリームを含むストリームの組み合わせを生成するステップと、を少なくとも含む。

【発明の効果】

【0008】

本発明に係る装置及び方法は上述したように、先行技術との相違点について、本発明は第１画像キャプチャモジュールがキャプチャした撮影対象を含む検出画像により距離パラメータを判断した後、距離パラメータ及び各第２画像キャプチャモジュールと第１画像キャプチャモジュールとの間の装置距離に基づいて各第２画像キャプチャモジュールの回転角度をそれぞれ計算し、各回転角度に基づいて各第２画像キャプチャモジュールの回転を制御した後、第１画像キャプチャモジュール及び各第２画像キャプチャモジュールが同期で生成した第１画像ストリーム及び各第２画像ストリームを含むストリームの組み合わせを生成することにより、先行技術に存在する問題を解決し、複数の撮影角度の視聴環境を構成する複雑さを減らす技術的効果を達成させる。

【0009】

本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施例に係る没入型ストリーミング画像のキャプチャ及び結像を示すシステム構成図である。

【図2A】本発明の一実施例に係る没入型ストリーミング画像のキャプチャ及び結像の装置を示す部材概略図である。

【図2B】本発明の一実施例に係る円弧状に配置された撮像モジュールの概略図である。

【図2C】本発明の一実施例に係る直線状に配置された撮像モジュールの概略図である。

【図3A】本発明の一実施例に係る回転角度を示す概略図である。

【図3B】本発明の一実施例に係る回転角度を示す概略図である。

【図4】本発明の一実施例に係るストリームの組み合わせのフレームを示す概略図である。

【図5】本発明の一実施例に係る没入型ストリーミング画像のキャプチャ及び結像の装置の方法を示すフローチャートである。

【図6A】本発明の一実施例に係る第１の画像キャプチャモジュールと第３の画像キャプチャモジュールの相対位置を示す概略図である。

【図6B】本発明の一実施例に係る第１の画像キャプチャモジュールと第３の画像キャプチャモジュールの相対位置を示す概略図である。

【図6C】本発明の一実施例に係る第１の画像キャプチャモジュールと第３の画像キャプチャモジュールの相対位置を示す概略図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について詳細に説明する。ただし、本発明はこれに限定されるものではなく、記述した範囲内で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0012】

本発明は装置内の複数の画像キャプチャモジュールを特定の対象に向けて回転するように制御すると共に、各画像キャプチャモジュールが同期で画像ストリームを生成するように制御し、各画像キャプチャモジュールが生成した同期している画像ストリームを組み合わせてストリームの組み合わせを生成する。

【0013】

本発明では、画像キャプチャモジュールは第１画像キャプチャモジュール及び第２画像キャプチャモジュールを含んで構成されている。一部の実施例では、画像キャプチャモジュールが第３画像キャプチャモジュールを更に備えている。第１画像キャプチャモジュール及び第３画像キャプチャモジュールは通常１つしかなく、第２画像キャプチャモジュールは複数あってもよいが、本発明はこれに限定されるものではない。

【0014】

以下、まず図１の本発明に係る没入型ストリーミング画像のキャプチャ及び結像を示すシステム構成図、及び図２Ａの本発明に係る没入型ストリーミング画像のキャプチャ及び結像の装置を示す部材概略図を参照し、本発明の運用について説明する。本発明の装置１００は、第１画像キャプチャモジュール（第１画像キャプチャ装置）１１０と、複数の第２画像キャプチャモジュール（第２画像キャプチャ装置）１２０と、制御モジュール１５０と、結像モジュール１６０と、付加的な第３画像キャプチャモジュール（第３画像キャプチャ装置）１３０と、通信モジュール１７０と、表示モジュール１９０と、を含んで構成されている（図１参照）。装置１００は通常長方形体等の六面体であるが、本発明はこれに限定されるものではない。

【0015】

第１画像キャプチャモジュール１１０は制御モジュール１５０及び結像モジュール１６０に電気的に接続され、第１画像キャプチャモジュール１１０が設置される位置は通常、装置１００のハウジングの最も左側との距離、及び最も右側との距離が同じであるか接近しており、すなわち、第１画像キャプチャモジュール１１０は装置１００の中央の軸線１０５上に設置されているが（図６Ａ参照）、本発明はこれに限定されるものではない。

【0016】

第１画像キャプチャモジュール１１０は撮影対象２１０を含む第１検出画像をキャプチャするために用いられている。第１画像キャプチャモジュール１１０は制御モジュール１５０が伝送した検出信号を受信した際に第１検出画像をキャプチャする。一般的には、第１画像キャプチャモジュール１１０は一定の時間間隔で検出信号を１回受信し、すなわち、第１画像キャプチャモジュール１１０は一定の時間間隔で第１検出画像を１回キャプチャする。

【0017】

第１画像キャプチャモジュール１１０は撮影対象２１０を含む対象画像をキャプチャし、且つ画像ストリームを生成するために用いられている（本発明では、第１画像キャプチャモジュール１１０がキャプチャした対象画像も第１対象画像と呼称し、第１画像キャプチャモジュール１１０が生成した画像ストリームも第１画像ストリームと呼称する）。より詳しくは、第１画像キャプチャモジュール１１０は第１対象画像を持続的にキャプチャし、第１対象画像のキャプチャ順序に基づいて各第１対象画像を含む第１画像ストリームを生成し、すなわち、各第１対象画像をフレーム（ｆｒａｍｅ）とする第１画像ストリームを順次生成する。第１画像キャプチャモジュール１１０は制御モジュール１５０が伝送した撮影開始信号を受信した際に第１対象画像の持続的なキャプチャを開始すると共に第１画像ストリームを生成し、制御モジュール１５０が伝送した撮影停止信号を受信した際に第１対象画像のキャプチャを停止して第１画像ストリームを終了する。

【0018】

各第２画像キャプチャモジュール１２０は全て制御モジュール１５０及び結像モジュール１６０に電気的に接続され、第１画像キャプチャモジュール１１０と同期で対象画像をキャプチャすると共に画像ストリームを生成するために用いられている（本発明では、第２画像キャプチャモジュール１２０がキャプチャした対象画像も第２対象画像と呼称し、第２画像キャプチャモジュール１２０が生成した画像ストリームも第２画像ストリームと呼称する）。第２画像キャプチャモジュール１２０は第１画像キャプチャモジュール１１０が第１対象画像のキャプチャを開始すると同時に第２対象画像の持続的なキャプチャを開始し、且つ第２対象画像のキャプチャ順序に基づいて各第２対象画像を含む第２画像ストリームを生成し、すなわち、各第２対象画像をフレームとする第２画像ストリームを順次生成する。第２画像キャプチャモジュール１２０は制御モジュール１５０が伝送した撮影開始信号を受信した際に第２対象画像の持続的なキャプチャを開始すると共に第２画像ストリームを生成することで、第１画像キャプチャモジュール１１０と同期で対象画像をキャプチャすると共に同期で画像ストリームを生成し、制御モジュール１５０が伝送した撮影停止信号を受信した際に第２対象画像のキャプチャを停止して第２画像ストリームを終了する。

【0019】

第３画像キャプチャモジュール１３０は制御モジュール１５０及び結像モジュール１６０に電気的に接続され、第３画像キャプチャモジュール１３０は通常第１画像キャプチャモジュール１１０に隣接し、すなわち、第３画像キャプチャモジュール１３０と第１画像キャプチャモジュール１１０との間には通常他の画像キャプチャモジュールは無いが、ただし、本発明はこれに限定されるものではない。一部の実施例では、第３画像キャプチャモジュール１３０及び第１画像キャプチャモジュール１１０が設置される位置の接続の中間点１０７は通常、装置１００のハウジング１０１の最も左側１０１ｂまでの距離及び最も右側１０１ａまでの距離が同じであるか接近しており、すなわち、第１画像キャプチャモジュール１１０及び第３画像キャプチャモジュール１３０は装置１００の中央の軸線１０５の両側に設置され、且つ第１画像キャプチャモジュール１１０及び第３画像キャプチャモジュール１３０は装置１００の中央の軸線１０５までの距離が同じであるか接近している（図６Ｃ参照）。いくつかの実施形態では、第１画像キャプチャモジュール１１０は装置１００の中央の軸線１０５上に設置され、第３画像キャプチャモジュール１３０は第１画像キャプチャモジュールの一側に設置され、すなわち、第３画像キャプチャモジュール１３０は装置１００の中央の軸線１０５の何れか一側に設置されているが（図６Ｂ参照）、本発明はこれに限定されるものではない。

【0020】

第３画像キャプチャモジュール１３０は撮影対象２１０を含む第２検出画像をキャプチャする。第３画像キャプチャモジュール１３０は制御モジュール１５０が伝送した検出信号を受信した際に第２検出画像をキャプチャする。一般的には、第３画像キャプチャモジュール１３０は一定の時間間隔で検出信号を１回受信すると共に第３検出画像を１回キャプチャする。

【0021】

第３画像キャプチャモジュール１３０は第１画像キャプチャモジュール１１０と同期で対象画像をキャプチャし、画像ストリームを生成するために用いられている（本発明では、第３画像キャプチャモジュール１３０がキャプチャした対象画像も第３対象画像と呼称し、第３画像キャプチャモジュール１３０が生成した画像ストリームも第３画像ストリームと呼称する）。第３画像キャプチャモジュール１３０は第１画像キャプチャモジュール１１０が第１対象画像のキャプチャを開始すると同時に第３対象画像の持続的なキャプチャを開始し、且つ第３対象画像のキャプチャ順序に基づいて各第３対象画像を含む第３画像ストリームを生成し、すなわち、各第３対象画像をフレームとする第３画像ストリームを順次生成する。第３画像キャプチャモジュール１３０は制御モジュール１５０が伝送した撮影開始信号を受信した際に第３対象画像の持続的なキャプチャを開始すると共に第３画像ストリームを生成することで、第１画像キャプチャモジュール１１０と同期で対象画像をキャプチャすると共に同期で画像ストリームを生成し、制御モジュール１５０が伝送した撮影停止信号を受信した際に第３対象画像のキャプチャを停止して第３画像ストリームを終了する。

【0022】

一般的には、第２画像キャプチャモジュール１２０及び第３画像キャプチャモジュール１３０がキャプチャした対象画像は撮影対象２１０を含むが、ただし、一部の実施例では、第２画像キャプチャモジュール１２０及び第３画像キャプチャモジュール１３０がキャプチャした対象画像は撮影対象２１０を含まなくてもよいが、本発明は特に制限はない。

【0023】

ここで説明すべき点は、本発明の画像キャプチャモジュール（すなわち、第１画像キャプチャモジュール１１０、第２画像キャプチャモジュール１２０、及び第３画像キャプチャモジュール１３０）は同じ平面に配列され、且つ本発明の画像キャプチャモジュールは直線または弧形に配列されてもよい（図２Ｂ、２Ｃ参照）。本発明の画像キャプチャモジュールは２つまたは２つ以上の複数の平面に配列されてもよく、且つ同じ平面に配列されている画像キャプチャモジュールは直線または弧形に配列されてもよい。

【0024】

制御モジュール１５０は画像キャプチャモジュールに電気的に接続され、検出信号、撮影開始信号、及び撮影停止信号を生成してもよく、且つ生成した検出信号を第１画像キャプチャモジュール１１０及び第３画像キャプチャモジュール１３０に伝送し、生成した撮影開始信号及び撮影停止信号を全ての画像キャプチャモジュールに伝送する。

【0025】

一般的には、制御モジュール１５０は画像キャプチャモジュールが画像ストリームを未生成である場合、すなわち、装置１００の起動後、または生成した撮影停止信号を画像キャプチャモジュールに伝送した後、一定の時間間隔で検出信号を１回生成すると共に検出信号を第１画像キャプチャモジュール１１０に伝送し（装置１００が第３画像キャプチャモジュール１３０を含む場合、検出信号を第１画像キャプチャモジュール１１０及び第３画像キャプチャモジュール１３０に伝送する）、撮影開始信号を生成して画像キャプチャモジュールが同期で画像ストリームを生成すると検出信号の生成を停止する。

【0026】

制御モジュール１５０は第１画像キャプチャモジュール１１０がキャプチャした第１検出画像に基づいて距離パラメータを判断する。制御モジュール１５０が判断する距離パラメータは通常第１画像キャプチャモジュール１１０と撮影対象２１０との距離値であるが（本発明では目標距離ともいう）、ただし、本発明はこれに限定されるものではなく、例えば、距離パラメータは第１画像キャプチャモジュール１１０に対応する焦点距離や、第１画像キャプチャモジュール１１０中の画像のキャプチャに用いるレンズグループの位置情報等でもよい。

【0027】

制御モジュール１５０は従来の方式を使用して第１検出画像により距離パラメータを判断してもよく、例えば、制御モジュール１５０は第１検出画像に対し画像識別を行って（辺縁の検出、ピクセルの組み合わせ、特徴のキャプチャ、特徴の比較等の処理を順次実行する）第１検出画像中の特定の物体（例えば、人間の頭、顔、顔の特徴、ボタン等）を識別し、第１検出画像における識別した特定の物体の大きさ（またはピクセル数）、第１画像キャプチャモジュール１１０がキャプチャした第１検出画像の焦点距離、及び予め記録した前記特定の物体の実際の大きさの範囲に基づいて 、相似三角形の計算式（焦点距離＊特定の物体の実際の大きさ／第１検出画像における特定の物体の大きさ）により距離パラメータの可能な範囲を計算する。また、制御モジュール１５０は、第１画像キャプチャモジュール１１０が備えているレンズグループの位置を調整してニュートン法により距離パラメータを判断するように制御する。ただし、本発明は第１検出画像により距離パラメータを判断する方式は上述したものに限定されない。

【0028】

装置１００が第３画像キャプチャモジュール１３０を備えている場合、制御モジュール１５０は第１画像キャプチャモジュール１１０及び第３画像キャプチャモジュール１３０が同期でキャプチャした第１検出画像及び第２検出画像に基づいて距離パラメータを判断する。制御モジュール１５０は同様に三角視差法等の従来の方式を使用して第１検出画像及び第２検出画像により距離パラメータを判断してもよく、ただし、本発明はこれに限定されるものではない。

【0029】

制御モジュール１５０は、判断した距離パラメータ及び予め構成した各第２画像キャプチャモジュール１２０と第１画像キャプチャモジュール１１０との間の距離（本発明では「装置距離」ともいう）に基づいて各第２画像キャプチャモジュール１２０に対応する回転角度をそれぞれ計算し、且つ算出した回転角度に基づいて各第２画像キャプチャモジュールの回転を制御するために用いられている。

【0030】

一例を挙げると、図３Ａ、３Ｂに示す如く、距離パラメータは第１画像キャプチャモジュール１１０と撮影対象２１０との間の目標距離３１１であり、制御モジュール１５０は目標距離３１１及び第１画像キャプチャモジュール１１０と第２画像キャプチャモジュール１２１との間の装置距離３２１に基づいて三角関数を用いて第２画像キャプチャモジュール１２１の回転角度３３１を算出し、すなわち、回転角度３３１はｔａｎ^－１（装置距離３２１／目標距離３１１）。同様に、第２画像キャプチャモジュール１２２～１２４の回転角度３３２～３３４は目標距離３１１及び第１画像キャプチャモジュール１１０と第２画像キャプチャモジュール１２２～１２４との間の装置距離３２２～３２４によりそれぞれ計算して生成する。

【0031】

結像モジュール１６０は画像キャプチャモジュール及び通信モジュール１７０に電気的に接続され、画像キャプチャモジュールが同期で生成した画像ストリームを含むストリームの組み合わせを生成するために用いられている。すなわち、結像モジュール１６０が生成したストリームの組み合わせは第１画像キャプチャモジュール１１０が生成した第１画像ストリーム、及び第２画像キャプチャモジュール１２０と第１画像キャプチャモジュールとが同期で生成した第２画像ストリームを含んでもよい。装置１００が第３画像キャプチャモジュール１３０も備えている場合、ストリームの組み合わせは第３画像キャプチャモジュール１３０と第１画像キャプチャモジュールとが同期で生成した第３画像ストリームも含んでもよい。

【0032】

より詳しくは、結像モジュール１６０が生成したストリームの組み合わせは複数のフレームを含む画像ストリームでもよく、ストリームの組み合わせの各フレームは複数のピクセルブロックを含んでもよく、且つストリームの組み合わせの全てのフレームに含まれるピクセルブロックの大きさ及び数量は全て同じでもよい。図４に示す如く、フレーム４００は２５個のピクセルブロックを含む。ストリームの組み合わせの各フレームの各ピクセルブロックは、異なる画像キャプチャモジュールがキャプチャした１つの対象画像を含み（本発明では、ピクセルブロックに含まれる対象画像も画像画面と呼称する）、ストリームの組み合わせの各フレームの異なるピクセルブロックは各画像キャプチャモジュールが同期でキャプチャした対象画像である。換言すれば、各画像キャプチャモジュールが生成した画像ストリームは同期しており、すなわち、各画像キャプチャモジュールが生成した画像ストリームの対象画像は同期しているため、結像モジュール１６０は同期している対象画像をストリームの組み合わせの同じ１つフレームの異なるピクセルブロックにそれぞれ加える。

【0033】

一般的には、ストリームの組み合わせに含まれている各画像ストリームの対象画像（画像画面）は、ストリームの組み合わせの全てのフレームにおける位置が固定されており、すなわち、ストリームの組み合わせのフレームにおいて同じ位置に配列されているピクセルブロックに含まれる画像画面は全て同じ１つの画像キャプチャモジュールが生成した画像ストリームの異なる時間における対象画像（フレーム）である。例えば、第２画像キャプチャモジュール１２４がキャプチャした第２対象画像がフレーム４００の最も左上の隅のピクセルブロック４１１に配列されている場合、ストリームの組み合わせの全てのフレームにおいて、第２画像キャプチャモジュール１２４がキャプチャした第２対象画像は全て最も左上の隅のピクセルブロック４１１に固定されるように配列されている。

【0034】

ちなみに、ストリームの組み合わせの各フレームにおいてストリームの組み合わせの各画像ストリームの対象画像が対応するピクセルブロックの位置は、各画像ストリームのキャプチャ角度に基づいて決定する。すなわち、結像モジュール１６０は、装置１００における各画像キャプチャモジュールの相対的位置またはモジュール識別データに基づいて、ストリームの組み合わせの各フレームにおける各画像キャプチャモジュールがキャプチャした対象画像のピクセルブロックの位置を決定する。一例を挙げると、装置１００が２５個の画像キャプチャモジュールを備えている場合、仮に画像キャプチャモジュールが装置１００に設置されている位置に基づいて左から右にそれぞれ第２画像キャプチャモジュール１２４、…、第２画像キャプチャモジュール１２２、…、第１画像キャプチャモジュール１１０、…、第２画像キャプチャモジュール１２１、…、第２画像キャプチャモジュール１２３とすると、第２画像キャプチャモジュール１２４がキャプチャした第２対象画像はストリームの組み合わせのフレーム４００の最も左上の隅のピクセルブロック４１１に配列され、第２画像キャプチャモジュール１２４の右側且つ第２画像キャプチャモジュール１２４に隣接するように配列されている画像キャプチャモジュールが生成した画像ストリームの第２対象画像はフレーム４００の第１列の左側の２番目のピクセルブロック４１２に配列され、以降同様に続き、…、第１画像キャプチャモジュール１１０がキャプチャした第１対象画像はストリームの組み合わせのフレーム４００の最も中央のピクセルブロック４３３に配列され、…、第２画像キャプチャモジュール１２３の左側且つ第２画像キャプチャモジュール１２３に隣接するように配列されている画像キャプチャモジュールが生成した画像ストリームの第２対象画像はフレーム４００の最後の１列の右辺の２番目のピクセルブロック４５４に配列され、第２画像キャプチャモジュール１２３がキャプチャした第２対象画像はストリームの組み合わせのフレーム４００の最も右下の隅のピクセルブロック４５５に配列されている。

【0035】

通信モジュール１７０は結像モジュール１６０及び表示モジュール１９０に電気的に接続され、有線及び／またはワイヤレス通信技術により表示装置２５０等の外部装置に接続することで、装置１００と外部装置とがデータや信号を相互に伝送する。例えば、結像モジュール１６０が生成したストリームの組み合わせを表示装置２５０に伝送し、或いは他の通信装置が伝送したビデオストリーム等を受信する。

【0036】

表示モジュール１９０は通信モジュール１７０に電気的に接続され、通信モジュール１７０が受信したビデオストリームを表示する。

【0037】

表示装置２５０は通信モジュール１７０に接続され、通信モジュール１７０が伝送したストリームの組み合わせを受信し、受信したストリームの組み合わせの第１画像ストリーム、１つまたは複数の特定の第２画像キャプチャモジュール１２０の第２画像ストリーム、及び／または第３画像ストリームを表示し、表示装置２５０は全ての画像ストリームを表示する。

【0038】

次は、一実施例を挙げて本発明の装置及び方法の運用を解説し、且つ図５の本発明に係る没入型ストリーミング画像のキャプチャ及び結像の方法のフローチャートを参照する。

【0039】

装置１００のユーザーが装置１００を起動した後、第１画像キャプチャモジュール１１０が撮影対象２１０を含む第１検出画像をキャプチャする（ステップ５１０参照）。本実施例では、仮に装置１００の起動後に、制御モジュール１５０が一定の時間間隔で検出信号を生成し、制御モジュール１５０が毎回検出信号を生成した後に、第１画像キャプチャモジュール１１０が第１検出画像を１回キャプチャする。

【0040】

第１画像キャプチャモジュール１１０が第１検出画像をキャプチャした後、制御モジュール１５０は第１画像キャプチャモジュール１１０がキャプチャした第１検出画像に基づいて距離パラメータを生成する（ステップ５２０参照）。本実施例では、仮に距離パラメータが目標距離である場合、制御モジュール１５０はニュートン法に基づいて距離パラメータを判断するか、第１検出画像の特定の物体の大きさを識別すると共に既定値と比較して距離パラメータを判断する。

【0041】

制御モジュール１５０が距離パラメータを生成した後、制御モジュール１５０は生成した距離パラメータ及び各第２画像キャプチャモジュール１２０と第１画像キャプチャモジュール１１０との装置距離に基づいて各第２画像キャプチャモジュール１２０の回転角度をそれぞれ計算し（ステップ５３０参照）、且つ算出した各第２画像キャプチャモジュール１２０の回転角度に基づいて各第２画像キャプチャモジュール１２０の回転を制御する（ステップ５４０参照）。本実施例では、仮に制御モジュール１５０がｔａｎ^－１（装置距離／距離パラメータ）の三角関数により各第２画像キャプチャモジュール１２０の回転角度を逐一算出し、各第２画像キャプチャモジュール１２０が撮影対象２１０に向けて回転する回転角度を制御し、画像キャプチャモジュール（図３Ａ、３Ｂ参照）及び制御モジュール１５０が第２画像キャプチャモジュール１２４の回転角度を先に計算してから第２画像キャプチャモジュール１２４が反時計回りに回転することで算出した回転角度を制御する。次に、制御モジュール１５０が第２画像キャプチャモジュール１２２の回転角度を計算すると共に第２画像キャプチャモジュール１２２が反時計回りに回転する回転角度を制御し、第２画像キャプチャモジュール１２１／１２３の回転角度を計算すると共に第２画像キャプチャモジュール１２１／１２３が時計回りに回転する回転角度を制御する。

【0042】

制御モジュール１５０が第２画像キャプチャモジュールを撮影対象２１０に向けて回転するように制御した後、第１画像キャプチャモジュール１１０が撮影対象２１０を含む第１対象画像をキャプチャして第１対象画像を含む第１画像ストリームを生成し、第２画像キャプチャモジュール１２０が第１画像キャプチャモジュール１１０と同期で第２対象画像をキャプチャすると共に第２対象画像を含む第２画像ストリームを生成する（ステップ５５０参照）。本実施例では、仮に制御モジュール１５０が撮影開始信号を生成した場合、制御モジュール１５０が撮影開始信号を生成した際に、第１画像キャプチャモジュール１１０及び第２画像キャプチャモジュール１２０が同期で対象画像のキャプチャを開始して同期している第１画像ストリーム及び第２画像ストリームを生成する。

【0043】

画像キャプチャモジュールが対象画像を同期でキャプチャすると共に同期している画像ストリームを生成した後、結像モジュール１６０が全ての画像キャプチャモジュールが同期で生成した画像ストリームを含むストリームの組み合わせを生成する（ステップ５６０参照）。本実施例では、仮に結像モジュール１６０が、装置１００における各画像キャプチャモジュールの配列位置（相対的位置）または画像キャプチャモジュールのモジュール識別データに基づいて第１画像ストリーム及び第２画像ストリームの同期している対象画像の配列順序を決定し、且つ第１画像ストリーム及び第２画像ストリームの同期している対象画像を同じフレームの異なるピクセルブロックに順次逐一加えることで、全ての画像キャプチャモジュールが同期で生成した画像ストリームを含むストリームの組み合わせを生成する。

【0044】

このように、本発明により、１つの装置によりユーザーが同じ時間における異なる角度の対象画像を取得した後に使用し、例えば、ストリームファイルとして保存して再生されるのを待つか、或いは外部装置に伝送して表示する等である。

【0045】

一例を挙げると、上述の実施例において、装置１００が通信モジュール１７０を備えている場合、結像モジュール１６０がストリームの組み合わせを生成（ステップ５６０参照）した後、結像モジュール１６０が生成したストリームの組み合わせを通信モジュール１７０が表示装置２５０に伝送し、表示装置２５０がストリームの組み合わせに含まれる１つまたは複数の画像ストリームを表示する（ステップ５７０参照）。例えば、表示装置２５０は一定の時間間隔毎にストリームの組み合わせの各フレームから異なるピクセル領域の対象画像を順次取り出すと共に、取り出した対象画像から順番に異なる画像ストリームを表示し、表示装置２５０はストリームの組み合わせを直接表示し、表示される画面には異なる撮影角度のユーザーを同時に表示する。表示装置２５０はストリームの組み合わせの各フレームから各ピクセル領域の対象画像を取り出すと共に対応するピクセルにより読み出した対象画像を表示することで、異なる視野角で撮影角度に対応する画像ストリームを表示する。

【0046】

以上を総合すると、本発明と先行技術との相違点について、第１画像キャプチャモジュールがキャプチャした撮影対象を含む検出画像により距離パラメータを判断した後、距離パラメータ及び各第２画像キャプチャモジュールと第１画像キャプチャモジュールとの間の装置距離に基づいて各第２画像キャプチャモジュールの回転角度をそれぞれ計算し、且つ各回転角度に基づいて各第２画像キャプチャモジュールの回転を制御した後、第１画像キャプチャモジュール及び各第２画像キャプチャモジュールが同期で生成した第１画像ストリーム及び各第２画像ストリームを含むストリームの組み合わせを生成する技術的手段を有し、この技術的手段により先行技術に存在する複数の撮影角度を提供するストリーミングメディアの環境を構成する際に撮影者が困難に陥るという問題を解決し、複数の撮影角度の視聴環境を構成する複雑さを低下させる技術的効果を達成している。

【0047】

さらに、本発明に係る没入型ストリーミング画像のキャプチャ及び結像の方法は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現し、コンピューター装置中で、集中方式で実現してもよく、相互接続されている若干のコンピューター装置に異なる素子を分配し、分散方式で実現してもよい。

【0048】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0049】

１００ 装置
１１０ 第１画像キャプチャモジュール（第１画像キャプチャ装置）
１２０ 第２画像キャプチャモジュール（第２画像キャプチャ装置）
１２１～１２４ 第２画像キャプチャモジュール（第２画像キャプチャ装置）
１３０ 第３画像キャプチャモジュール（第３画像キャプチャ装置）
１５０ 制御モジュール
１６０ 結像モジュール
１７０ 通信モジュール
１９０ 表示モジュール
２１０ 撮影対象
２５０ 表示装置
３１１ 目標距離
３２１～３２４ 装置距離
３３１～３３４ 回転角度
４００ フレーム
４１１～４５５ ピクセル領域
５１０～５７０ ステップ

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図6C】