特開 2022-117631 画像処理装置および該方法ならびに撮像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022117631

(43)【公開日】2022-08-12

(54)【発明の名称】画像処理装置および該方法ならびに撮像表示装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220804BHJP

   H04N 5/247 20060101ALI20220804BHJP

   G06T 3/00 20060101ALI20220804BHJP

   G03B 15/00 20210101ALI20220804BHJP

   G03B 37/00 20210101ALI20220804BHJP

   G03B 35/20 20210101ALI20220804BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 960

H04N5/232 300

H04N5/247

G06T3/00 780

G03B15/00 H

G03B37/00 A

G03B35/20

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021014231

(22)【出願日】2021-02-01

(71)【出願人】

【識別番号】503027931

【氏名又は名称】学校法人同志社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100067828

【弁理士】

【氏名又は名称】小谷 悦司

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】片桐 滋

(72)【発明者】

【氏名】和田 理

【テーマコード（参考）】

2H059

5B057

5C122

【Ｆターム（参考）】

2H059AA10

2H059AA13

2H059BA11

5B057BA02

5B057BA17

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057DA07

5C122DA07

5C122DA08

5C122EA61

5C122FA18

5C122FE03

5C122FH09

5C122FH10

5C122FH11

5C122FH18

5C122FK23

5C122HB01

(57)【要約】

【課題】本発明は、複数の撮像装置それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる画像処理装置、画像処理方法および撮像表示装置を提供する。
【解決手段】本発明の撮像表示装置ＩＤに備えられる画像処理装置は、互いに隣接する２個の撮像部２で各第１画角の一部が重複するように配置された複数の撮像部２それぞれで生成した複数の画像を複数の原画像として取得する取得部の一例としてのＩＦ部３と、前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像部２の配置順に応じて順次に連結することによって合成画像を生成する合成部４３とを備え、合成部４３は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する。
【選択図】図２

【特許請求の範囲】

【請求項1】

互いに隣接する２個の撮像装置で各第１画角の一部が重複するように配置された複数の撮像装置それぞれで生成した複数の画像を複数の原画像として取得する取得部と、
前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像装置の配置順に応じて順次に連結することによって合成画像を生成する合成部とを備え、
前記合成部は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する、
画像処理装置。

【請求項2】

前記複数の撮像装置は、所定の一方向に沿って所定の間隔で並置され、
前記第１および第２画角は、それぞれ、前記一方向の画角であり、
前記合成部は、互いに隣接する２個の第１および第２撮像装置で前記主被写体を写し込んだ第１および第２原画像が生成されている場合に、前記第１および第２原画像のうちの一方に対し、前記隣接側の第２画角を所定角度だけ広げ、前記第１および第２原画像のうちの他方に対し、前記隣接側の第２画角を前記所定角度に対応する角度だけ狭くすることで、前記第２画角を調整する、
請求項１に記載の画像処理装置。

【請求項3】

前記一方向は、水平方向または垂直方向である、
請求項２に記載の画像処理装置。

【請求項4】

前記複数の原画像は、動画であり、
前記合成部は、前記第２画角の調整における広狭を切り換える際に、前記標準画像をモーフィングする、
請求項１ないし請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

互いに隣接する２個の撮像装置で各第１画角の一部が重複するように配置された複数の撮像装置それぞれで生成した複数の画像を複数の原画像として取得する取得工程と、
前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像装置の配置順に応じて順次に連結することによって合成画像を生成する合成工程とを備え、
前記合成工程は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する、
画像処理方法。

【請求項6】

請求項１ないし請求項４のいずれか１項に記載の画像処理装置と、
表示面を持つ表示部と、
前記複数の撮像装置とを備え、
前記複数の撮像装置は、前記表示面の表示領域内に配置されている、
撮像表示装置。

【請求項7】

通信部と、
前記合成部で生成した合成画像を前記通信部から送信する制御部とをさらに備える、
請求項６に記載の撮像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を処理する画像処理装置および画像処理方法、ならびに、前記画像処理装置を備えた、画像を表示し、前記画像を表示する表示面の前方の被写体を撮像する撮像表示装置に関する。

【背景技術】

【0002】

近年、通信速度の高速化に伴い、音声の送受信だけでなく、画像も送受信して遠隔でコミュニケーションできるテレビ会議システム（ビデオ会議システム、ＷＥＢ会議システム）が研究、開発され、利用されている。このテレビ会議システムで用いられる、例えばカメラ付きパーソナルコンピュータやスマートフォン等の装置は、一般に、正面視にて、画像を表示する表示面の上部に、カメラの撮像レンズが配置されている。互いにコミュニケーションを行う場合、視線の一致は、例えば対面者同士における信頼性の醸成に重要な役割を果たすが、上述のような装置では、一方の装置のカメラは、人物を上方から撮像するため、前記一方の装置で撮像された人物画像は、ネットワークを介して通信可能に接続された他方の装置に下向きの画像として表示されてしまい、視線を一致させることが難しい場合がある。特に、表示面のサイズが大型化すると、前記人物画像は、下向きの画像に成り易い。このため、例えば、特許文献1に開示された、液晶表示パネルの背面に撮像素子を配置した表示装置の利用が考えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１６０３０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、前記特許文献１に開示された表示装置の撮像素子（撮像装置、カメラ）は、単体であるため、撮像範囲が限られてしまう。このため、複数の撮像装置の利用が考えられ、これにより、大きなサイズの表示面に、前記複数の撮像装置それぞれの各撮像範囲を合成（統合）した広い撮像範囲で撮像した画像を表示できる。しかしながら、前記複数の撮像装置それぞれと被写体との距離によって、前記複数の撮像装置それぞれで生成した複数の画像を合成（統合）した画像（合成画像）に、前記被写体が正常に写し出されない場合が生じ得る。例えば、前記距離が相対的に短い場合、前記被写体の一部が欠けて前記合成画像に写し出されたり、前記距離が相対的に長い場合、前記被写体が複数で前記合成画像に写し出されたりする。

【0005】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、複数の撮像装置それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる画像処理装置および画像処理方法、ならびに、前記画像処理装置を備えた撮像表示装置を提供することである。

【課題を解決するための手段】

【0006】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる画像処理装置は、互いに隣接する２個の撮像装置で各第１画角の一部が重複するように配置された複数の撮像装置それぞれで生成した複数の画像を複数の原画像として取得する取得部と、前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像装置の配置順に応じて順次に連結することによって合成画像を生成する合成部とを備え、前記合成部は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する。好ましくは、上述の画像処理装置において、前記取得部は、さらに、前記主被写体の位置に関する位置情報を取得する。好ましくは、前記位置情報は、前記主被写体を上方から撮像するように配置された第２撮像装置で生成された画像である。好ましくは、上述の画像処理装置において、さらに、前記主被写体の位置を測定する位置測定部を備える。好ましくは、上述の画像処理装置において、さらに、前記主被写体を写し込んだ１対の原画像をステレオ画像として前記主被写体の位置を求める位置演算部を備える。好ましくは、上述の画像処理装置において、前記所定の基準点は、前記主被写体を写し込んだ原画像を生成した撮像装置の配置位置である。

【0007】

単に、第２画角の標準画像を順次に連結することによって合成画像を生成する場合、主被写体の位置によって、上述したように、前記主被写体の一部が欠けて前記合成画像に写し出されたり、前記主被写体が複数で前記合成画像に写し出されたり等の、前記主被写体が正常に写し出されない場合が生じる。このような場合でも、第１画角の原画像には、前記主被写体が正常に写り込んでいる。上記画像処理装置は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、第１画角の原画像に正常に写り込んでいる主被写体の画像領域を利用するために、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する。このため、上記画像処理装置は、複数の撮像装置それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる。

【0008】

他の一態様では、上述の画像処理装置において、前記複数の撮像装置は、所定の一方向に沿って所定の間隔で並置され、前記第１および第２画角は、それぞれ、前記一方向の画角であり、前記合成部は、互いに隣接する２個の第１および第２撮像装置で前記主被写体を写し込んだ第１および第２原画像が生成されている場合に、前記第１および第２原画像のうちの一方に対し、前記隣接側の第２画角を所定角度だけ広げ、前記第１および第２原画像のうちの他方に対し、前記隣接側の第２画角を前記所定角度に対応する角度だけ狭くすることで、前記第２画角を調整する。好ましくは、上述の画像処理装置において、前記所定の基準点は、前記第１および第２撮像装置のうちのいずれか１つの撮像装置の配置位置である。

【0009】

このような画像処理装置は、主被写体が一方向に移動する場合でも、前記主被写体を正常に写し出した合成画像を生成できる。

【0010】

他の一態様では、上述の画像処理装置において、前記一方向は、水平方向または垂直方向である。好ましくは、上述の画像処理装置において、前記一方向は、互いに異なる方向である２個の第１および第２サブ方向を含み、前記第１サブ方向は、水平方向であり、前記第２サブ方向は、垂直方向である。

【0011】

このような画像処理装置は、前記複数の撮像装置が水平方向または垂直方向に配置されている場合に、被写体を正常に写し出した合成画像を生成できる。

【0012】

他の一態様では、これら上述の画像処理装置において、前記複数の原画像は、動画であり、前記合成部は、前記第２画角の調整における広狭を切り換える際に、前記標準画像をモーフィングする。

【0013】

このような画像処理装置は、標準画像をモーフィングするので、第２画角の調整における広狭を切り換える際に、主被写体が滑らかに動く合成画像の動画を生成できる。

【0014】

本発明の他の一態様にかかる画像処理方法は、互いに隣接する２個の撮像装置で各第１画角の一部が重複するように配置された複数の撮像装置それぞれで生成した複数の画像を複数の原画像として取得する取得工程と、前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像装置の配置順に応じて順次に連結することによって合成画像を生成する合成工程とを備え、前記合成工程は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する。

【0015】

このような画像処理方法は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整するので、複数の撮像装置それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる。

【0016】

本発明の他の一態様にかかる撮像表示装置は、これら上述のいずれかの画像処理装置と、表示面を持つ表示部と、前記複数の撮像装置とを備え、前記複数の撮像装置は、前記表示面の表示領域内に配置されている。好ましくは、上述の撮像表示装置において、前記表示領域は、区分けされた複数の領域から成り、前記複数の撮像装置それぞれは、前記複数の領域それぞれに配置されている（前記撮像装置と前記領域とは１対１で対応している）。好ましくは、前記撮像装置は、前記表示面の前面または背面で、前記領域の中央位置に配置されている。好ましくは、上述の撮像表示装置において、前記表示領域は、区分けされた複数の領域から成り、前記複数の撮像装置それぞれは、互いに隣接する２個の領域の間に形成される複数の隙間領域それぞれに配置されている。

【0017】

これによれば、これら上述のいずれかの画像処理装置を備えた撮像表示装置が提供できる。この撮像表示装置は、これら上述のいずれかの画像処理装置を備えるので、複数の撮像装置それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる。

【0018】

他の一態様では、上述の撮像表示装置において、通信部と、前記合成部で生成した合成画像を前記通信部から送信する制御部とをさらに備える。好ましくは、上述の撮像表示装置において、前記通信部は、ネットワークを介して他の表示装置または他の撮像表示装置と通信可能に接続され、前記制御部は、前記他の表示装置または前記他の撮像表示装置に表示するために、前記合成部で生成した合成画像を前記通信部から送信する。

【0019】

このような撮像表示装置は、ネットワークを介して通信可能に接続された、他の表示装置または他の撮像表示装置に、被写体を正常に写し出した合成画像を表示できる。

【発明の効果】

【0020】

本発明にかかる画像処理装置および画像処理方法は、複数の撮像装置それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる。本発明によれば、前記画像処理装置を備えた撮像表示装置が提供できる。

【図面の簡単な説明】

【0021】

【図1】実施形態における画像処理装置、および、前記画像処理装置を備えた撮像表示装置を用いたテレビ会議システムの全体構成を示すブロック図である。

【図2】前記画像処理装置を備えた前記撮像表示装置の構成を示すブロック図である。

【図3】前記撮像表示装置における位置用撮像部の配置を説明するための図である。

【図4】前記撮像表示装置における第１ないし第４撮像部および表示部を説明するための図である。

【図5】前記撮像表示装置における第２画角の調整を説明するための図である。

【図6】比較例として、主被写体の位置に応じて第２画角を調整しない場合を説明するための図である。

【図7】前記撮像表示装置の動作を示すフローチャートである。

【図8】理想的な撮像表示装置を説明するための図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0023】

実施形態における撮像表示装置は、画像を表示し、前記画像を表示する表示面の前方の被写体を撮像する装置であり、表示機能および撮像機能を備える。この撮像表示装置は、画像処理装置と、表示面を持つ表示部と、複数の撮像装置とを備え、前記複数の撮像装置は、前記表示面の表示領域内に配置されている。この撮像表示装置に備えられる画像処理装置は、互いに隣接する２個の撮像装置で各第１画角の一部が重複するように配置された前記複数の撮像装置それぞれで生成した複数の画像を複数の原画像として取得する取得部と、前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像装置の配置順に応じて順次に連結することによって合成画像を生成する合成部とを備え、前記合成部は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する。このような撮像表示装置および画像処理装置について、前記撮像表示装置をテレビ会議システムに利用する例を用いることによって、以下、より具体的に説明する。

【0024】

図１は、実施形態における画像処理装置、および、前記画像処理装置を備えた撮像表示装置を用いたテレビ会議システムの全体構成を示すブロック図である。図２は、前記画像処理装置を備えた前記撮像表示装置の構成を示すブロック図である。図３は、前記撮像表示装置における位置用撮像部の配置を説明するための図である。図３Ａは、側面図であり、図３Ｂは、上面図である。図４は、前記撮像表示装置における第１ないし第４撮像部および表示部を説明するための図である。図４Ａは、本実施形態の場合を示し、図４Ｂは、変形形態の場合を示す。図５は、前記撮像表示装置における第２画角の調整を説明するための図である。図５Ａ、第２画角を調整しない通常の場合を示し、図５Ｂは、第２画角を調整する第１ケースの場合を示し、図５Ｃは、第２画角を調整する第２ケースの場合を示す。図６は、比較例として、主被写体の位置に応じて第２画角を調整しない場合を説明するための図である。図６Ａは、主被写体Ｏｂにおける体幹面や顔面が、第１原画像における第２画角θ２と第２原画像における第２画角θ２と交差する、表示面からの第１距離Ｌｈ１の位置に存在するように、前記主被写体Ｏｂが位置する場合を示し、図６Ｂは、前記主被写体Ｏｂが前記第１距離Ｌｈ１より表示面に近い場合を示し、図６Ｃは、前記主被写体Ｏｂが前記第１距離Ｌｈ１より表示面に遠い場合を示す。図５および図６において、上段は、正面図であり、下段は、上面図である。

【0025】

実施形態におけるテレビ会議システムＳは、例えば、図１に示すように、ネットワークＮＷによって相互に通信可能に接続される複数の撮像表示装置ＩＤ（ＩＤ－１、ＩＤ－２、・・・）を備える。テレビ会議システムＳには、１または複数の、通信機能を持つ通常の表示装置（例えばＷＥＢカメラ付きのパーソナルコンピュータやスマートフォン等）Ｄ（Ｄ－１、Ｄ－２、・・・）が含まれてもよい。ネットワークＮＷは、例えば電話網およびデータ通信網等であり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってよい。

【0026】

撮像表示装置ＩＤは、例えば、図２に示すように、位置用撮像部１と、複数の撮像装置の一例としての複数の撮像部２（図２に示す例では４個の第１１撮像部２－１、第１２撮像部２－２、第２１撮像部２－３および第２２撮像部２－４）と、取得部の一例としてのインターフェース部（ＩＦ部）３と、制御処理部４と、記憶部５と、入力部６と、表示部７と、通信部８とを備える。

【0027】

位置用撮像部１は、ＩＦ部３を介して制御処理部４に接続され、制御処理部４の制御に従って画像を生成する、例えばデジタルカメラ等の装置である。位置用撮像部１は、例えば、図３に示すように、表示部７の上部から、その表示面の前方に、所定の長さだけ伸びる、例えばロッド等の支持部材１ａに支持されることによって、複数の撮像部２で撮像される被写体における所定の主被写体Ｏｂを上方から撮像するように配置される。前記主被写体Ｏｂは、任意であり、例えば表示目的に応じた注目対象（例えば人物等）等で予め適宜に設定される。このような配置によって、位置用撮像部１は、前記主被写体の位置に関する位置情報として、前記主被写体を上方から撮像した画像を生成し、前記位置情報としての前記画像をＩＦ部３へ出力する。

【0028】

表示部７は、制御処理部４に接続され、制御処理部４の制御に従って所定の情報を表示する装置であり、例えばＣＲＴディスプレイ、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示装置である。

【0029】

複数の撮像部２は、それぞれ、ＩＦ部３を介して制御処理部４に接続され、制御処理部４の制御に従って画像を生成する、例えばデジタルカメラ等の装置である。前記複数の撮像部２は、それぞれ、その生成した画像をＩＦ部３へ出力する。前記複数の撮像部２は、互いに隣接する２個の撮像部２で各第１画角の一部が重複するように、表示部７における表示面の表示領域内に配置される。前記表示領域は、区分けされた複数の領域から成り、前記複数の撮像部２それぞれは、前記複数の領域それぞれに配置される（前記撮像部２と前記領域とは１対１で対応している）。撮像部２は、前記表示面の前面で、前記領域の中央位置に配置される。前記複数の撮像部２は、所定の一方向に沿って、上述の互いに隣接する２個の撮像部２で各第１画角の一部が重複するような所定の間隔で並置され、前記第１画角および後述の第２画角は、それぞれ、前記一方向の画角である。前記一方向は、水平方向であってよく、あるいは、垂直方向であってよい。本実施形態では、前記一方向は、互いに異なる方向である２個の第１および第２サブ方向を含み、前記第１サブ方向は、水平方向であり、前記第２サブ方向は、垂直方向である。

【0030】

より具体的には、図２に示すでは、前記複数の撮像部２は、４個の第１１ないし第２２撮像部２－１～２－４である。この場合では、図４Ａに示すように、表示部７における表示面は、２行２列の２次元アレイ状に区分けされた４個の第１１領域ＤＰ１、第１２領域ＤＰ２、第２１領域ＤＰ３および第２２領域ＤＰ４から成り、第１１撮像部２－１は、表示面の前面で第１１領域ＤＰ１の中央位置に配置され、第１２撮像部２－２は、表示面の前面で第１２領域ＤＰ２の中央位置に配置され、第２１撮像部２－３は、表示面の前面で第２１領域ＤＰ３の中央位置に配置され、第２２撮像部２－４は、表示面の前面で第２２領域ＤＰ４の中央位置に配置される。第１１ないし第２２撮像部２－１～２－４は、例えば接着によって表示面上に配置される。なお、図４では、第１１ないし第２２撮像部２－１～２－４それぞれとＩＦ部３とを接続する配線の図示が省略されている。これにより、例えば、図５Ｂに示すように、水平方向に互いに隣接する２個の第１１および第１２撮像部２－１、２－２は、水平方向における第１１撮像部２－１の第１画角θ１の一部と、前記水平方向における第１２撮像部２－２の第１画角θ１の一部とが重複するように、配置される。同様に、水平方向に互いに隣接する２個の第２１および第２２撮像部２－３、２－４は、水平方向における第２１撮像部２－３の第１画角の一部と、前記水平方向における第２２撮像部２－４の第１画角の一部とが重複するように、配置される。このような第１１ないし第２２撮像部２－１～２－４は、小型であることが好ましい。なお、図５Ａないし図５Ｃでは、説明の都合上、第２１および第２２領域ＤＰ３、ＤＰ４ならびに第２１および第２２撮像部２－３、２－４の図示が省略されている。そして、垂直方向に互いに隣接する２個の第１１および第２１撮像部２－１、２－３は、垂直方向における第１１撮像部２－１の第１画角の一部と、前記垂直方向における第２１撮像部２－３の第１画角の一部とが重複するように、配置され、同様に、垂直方向に互いに隣接する２個の第１２および第２２撮像部２－２、２－４は、垂直方向における第１２撮像部２－２の第１画角の一部と、前記垂直方向における第２２撮像部２－４の第１画角の一部とが重複するように、配置される。

【0031】

なお、第１１ないし第２２撮像部２－１～２－４は、例えば前記特許文献１のように、表示面の背面に配置されてもよい。

【0032】

このような４個の第１１ないし第２２領域ＤＰ１～ＤＰ４に区分けされる表示面を持つ表示部７は、比較的大画面な１個の表示装置で構成されてよいが、本実施形態では、より大きな画面サイズを実現するために、２行２列の２次元アレイ状で表示面を連続的に順次に接続されるように配置された４個の第１１表示部７－１、第１２表示部７－２、第２１表示部７－３および第２２表示部７－４を備えて構成される。

【0033】

なお、図４Ａでは、第１１ないし第２２撮像部２－１～２－４それぞれは、各領域ＤＰの各中央位置に配置されたが、図４Ｂに示すように、第１１ないし第２２撮像部２－１～２－４それぞれは、互いに隣接する２個の領域の間に形成される複数の隙間領域ＳＰそれぞれに配置されてもよい。より具体的には、図４Ｂに示す例では、表示部７ａにおける表示面は、３行２列の２次元アレイ状に区分けされた６個の第１１ないし第２３領域ＤＰａ１～ＤＰａ６から成り、第１１撮像部２－１は、第１１領域ＤＰａ１と第１２領域ＤＰａ２との間に形成された第１隙間領域ＳＰ１２に、その長尺方向の中央位置に配置され、第１２撮像部２－２は、第１２領域ＤＰａ２と第１３領域ＤＰａ３との間に形成された第２隙間領域ＳＰ２３に、その長尺方向の中央位置に配置され、第２１撮像部２－３は、第２１領域ＤＰａ４と第２２領域ＤＰａ５との間に形成された第３隙間領域ＳＰ４５に、その長尺方向の中央位置に配置され、第２２撮像部２－４は、第２２領域ＤＰａ５と第２３領域ＤＰａ６との間に形成された第４隙間領域ＳＰ５６に、その長尺方向の中央位置に配置される。

【0034】

これら位置用撮像部１、および、第１１ないし第２２撮像部２－１～２－４は、互いに同期して画像を生成する。これら位置用撮像部１、および、第１１ないし第２２撮像部２－１～２－４は、静止画を生成してよく、あるいは、所定のサンプリング間隔で時系列に連続的に画像を生成してよく、あるいは、所定のフレームレートの動画を生成してよい。

【0035】

ＩＦ部３は、制御処理部４に接続され、制御処理部４の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。

【0036】

入力部６は、制御処理部４に接続され、例えば、テレビ会議システムＳの開始を指示するコマンドやその終了を指示するコマンド等の各種コマンド、および、テレビ会議システムＳ（撮像表示装置ＩＤ、画像処理装置）を動作させる上で必要な各種データをテレビ会議システムＳ（撮像表示装置ＩＤ、画像処理装置）に入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチやキーボードやマウス等である。

【0037】

通信部８は、制御処理部４に接続され、制御処理部４の制御に従って、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等である。

【0038】

記憶部５は、制御処理部４に接続され、制御処理部４の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、撮像表示装置ＩＤの各部１～３、５～８を当該各部の機能に応じてそれぞれ制御する制御プログラムや、前記位置情報に基づいて、所定の基準点に対する、前記主被写体の位置を求める位置処理プログラムや、前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像部２の配置順に応じて順次に連結することによって合成画像を生成する合成プログラム等が含まれる。前記各種の所定のデータには、例えば平面視（上面視）にて表示部７（または複数の撮像部２のいずれか）に対する位置用撮像部１の配置位置、表示領域の各領域の配置位置や各領域に対する前記複数の撮像部２の配置位置等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部４のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。なお、記憶部５は、比較的大容量となる画像を記憶するために、大容量を記憶可能なハードディスク装置を備えてもよい。

【0039】

制御処理部４は、撮像表示装置ＩＤ（画像処理装置）の各部１～３、５～８を当該各部の機能に応じてそれぞれ制御し、互いに隣接する２個の撮像部２で各第１画角の一部が重複するように配置された複数の撮像部２それぞれで生成した複数の原画像に基づいて合成画像を生成するための回路である。制御処理部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部４には、前記制御処理プログラムが実行されることによって、制御部４１、位置処理部４２および合成部４３が機能的に構成される。

【0040】

制御部４１は、撮像表示装置ＩＤ（画像処理装置）の各部１～３、５～８を当該各部の機能に応じてそれぞれ制御し、撮像表示装置ＩＤ（画像処理装置）全体の制御を司るものである。本実施形態では、後述の合成部４３で生成した合成画像を通信部８から送信するように、通信部８を制御する。

【0041】

位置処理部４２は、前記位置情報に基づいて、所定の基準点に対する、前記主被写体の位置を求めるものである。本実施形態では、前記位置情報は、前記主被写体Ｏｂ、例えば人物Ｏｂを上方から撮像するように配置された位置用撮像部１で生成された画像であるので、位置処理部４２は、位置用撮像部１で生成された画像に基づいて、所定の基準点に対する人物Ｏｂの位置を求める。より具体的には、位置用撮像部１で撮像される背景の画像（背景画像）が前記各種データの１つとして予め記憶部５に記憶され、位置処理部４２は、背景差分法によって人物Ｏｂを写し込んだ領域を、位置用撮像部１で生成された画像から抽出し、例えば、図３Ｂに示すように、その人物Ｏｂを写し込んだ領域の中心位置の座標（ｘ、ｙ）を人物Ｏｂの位置として求める。なお、前記背景差分法に代え、フレーム差分法が用いられてもよい。前記所定の基準点は、予め設定された任意の点であってよいが、第２画角を調整するので、好ましくは、複数の撮像部２のうちのいずれかの撮像部２の配設位置であり、より好ましくは、主被写体Ｏｂを写し込んだ原画像を生成した撮像部２の配置位置である。このような基準点を座標原点とするｘｙ直交座標系が設定され、主被写体Ｏｂの位置の座標が求められる。図３Ｂに示す例では、複数の撮像部２における各配設位置を含む平面、本実施形態では、表示部７の表示面、に沿う所定の一方向、例えば、水平方向に沿ってｘ軸が設定され、前記表示部７の表示面の法線に沿う方向に、ｙ軸が設定される。

【0042】

合成部４３は、前記第１画角よりも狭い第２画角に対応する前記原画像の一部を標準画像とした場合に、前記複数の原画像それぞれに対応する複数の標準画像を前記複数の撮像部２の配置順に応じて順次に連結することによって合成画像を生成するものである。例えば、第１１撮像部２－１で生成された第１画角の第１１原画像から、第２画角の第１１標準画像が切り出され、第１２撮像部２－２で生成された第１画角の第１２原画像から、第２画角の第１２標準画像が切り出され、第２１撮像部２－３で生成された第１画角の第２１原画像から、第２画角の第２１標準画像が切り出され、第２２撮像部２－１で生成された第１画角の第２２原画像から、第２画角の第２２標準画像が切り出され、正面視にて、前記第１１標準画像に、水平方向の右側で、前記第１２標準画像が連結され、前記第１１標準画像に、垂直方向の下側で、前記第２１標準画像が連結され、前記第１２標準画像の垂直方向の下側であって前記第２１標準画像の水平方向の右側で、前記第１２および第２１標準画像それぞれに、前記第２２標準画像が連結され、これによって第１１ないし第２２標準画像の合成画像が生成される。

【0043】

そして、本実施形態では、合成部４３は、所定の主被写体Ｏｂを写し込んだ原画像の一部を上述の標準画像とする際に、所定の基準点に対する、前記主被写体Ｏｂの位置に応じて前記第２画角を調整する。より具体的には、合成部４３は、互いに隣接する２個の第１および第２撮像部２で前記主被写体を写し込んだ第１および第２原画像が生成されている場合に、前記第１および第２原画像のうちの一方に対し、前記隣接側の第２画角を所定角度だけ広げ、前記第１および第２原画像のうちの他方に対し、前記隣接側の第２画角を前記所定角度に対応する角度だけ狭くすることで、前記第２画角を調整する。

【0044】

一例として、図５に示すように、水平方向で互いに隣接する２個の第１１および第１２撮像部２－１、２－２について、以下に、説明するが、水平方向で互いに隣接する２個の第２１および第２２撮像部２－３、２－４についても、同様に説明でき、垂直方向で互いに隣接する２個の第１１および第２１撮像部２－１、２－３についても、同様に説明でき、垂直方向で互いに隣接する２個の第１２および第２２撮像部２－２、２－４についても、同様に説明できる。なお、位置用撮像部１は、水平方向では上述のように主被写体Ｏｂを上方から撮像するように配置され、ｘｙ直交座標系が設定されたが、垂直方向では、位置用撮像部１は、主被写体Ｏｂを側方から撮像するように配置され、ｙｚ直交座標系が設定され、主被写体Ｏｂの位置として主被写体Ｏｂにおける頭部の位置（ｙ、ｚ）が用いられる。このため、水平方向および垂直方向それぞれの各第２画角を調整する場合、位置用撮像部１は、水平方向用の第１位置用撮像部および垂直方向用の第２位置用撮像部を備えて構成される。主被写体Ｏｂの頭部は、位置用撮像部１で生成された位置情報としての画像から、例えば頭部のパターンマッチングや、頭部検出用に機械学習された機械学習モデル等によって、抽出でき、前記頭部の位置は、この抽出した頭部の中心位置の座標（ｙ、ｚ）とされる。

【0045】

第１１および第１２撮像部２－１、２－２は、それぞれ、図５Ｂおよび図５Ｃに示すように、第１画角θ１で被写体を撮像し、その画像を生成し、この画像を、ＩＦ部３を介して制御処理部４へ出力する。第１１撮像部２－１における第１画角θ１の一部は、水平方向の一方端部（例えば上面視にて右端部）で、前記水平方向の他方端部（例えば上面視にて左端部）での、第１２撮像部２－１における第１画角θ１の一部と重複している。

【0046】

なお、仮に、他の撮像部２が第１１撮像部２－１における水平方向の他方端（例えば上面視にて左端）で前記第１１撮像部２－１に隣接して配置されているとすると、第１１撮像部２－１における第１画角θ１の一部は、水平方向の他方端部（例えば上面視にて左端部）で、前記水平方向の一方端部（例えば上面視にて右端部）での、前記他の撮像部２における第１画角θ１の一部と重複することになる。

【0047】

第２画角θ２を調整しない場合、合成部４３は、第１１撮像部２－１で生成した第１画角θ１の第１１原画像から第２画角θ２の第１１標準画像を切り出し、第１２撮像部２－２で生成した第１画角θ１の第１２原画像から第２画角θ２の第１２標準画像を切り出し、そして、図５Ａに示すように、これら第１１および第１２標準画像を水平方向で連結することによって、合成画像を生成する。この合成画像を、説明の便宜上、自機ＩＤの表示部７に表示する場合、前記合成画像における前記第１１標準画像の部分は、第１１表示部７－１に表示され、前記合成画像における第１２標準画像の部分は、第１２表示部７－２に表示される。このため、第２画角θ２は、第１１および第１２表示部７－１、７－２における表示面の水平方向の画角に対応するように設定される。主被写体Ｏｂにおける体幹面や顔面が、図５Ａおよび図６Ａに示すように、第１１原画像における第２画角θ２と第１２原画像における第２画角θ２と交差する、表示面からの第１距離Ｌｈ１の位置に存在するように、主被写体Ｏｂが位置する場合、第１１標準画像には、第１１撮像部２－１の第２画角θ２の他方境界線上における第１距離Ｌｈ１の点を通る表示面の第１法線Ｌｖ１から、第１１撮像部２－１の第２画角θ２の一方境界線上における第１距離Ｌｈ１の点を通る表示面の第２法線（第１２撮像部２－２の第２画角θ２の他方境界線上における第１距離Ｌｈ１の点を通る表示面の第２法線）Ｌｖ２までの間の被写体が写り込まれ、主被写体Ｏｂの他方側の半分が写り込まれる。前記場合、第１２標準画像には、第１２撮像部２－２の第２画角θ２の他方境界線上における第１距離Ｌｈ１の点を通る表示面の第２法線Ｌｖ２から、第１２撮像部２－２の第２画角θ２の一方境界線上における第１距離Ｌｈ１の点を通る表示面の第３法線Ｌｖ３までの間の被写体が写り込まれ、主被写体Ｏｂの一方側の半分が写り込まれる。このため、第２画角θ２を調整する必要は無く、図５Ａおよび図６Ａに示すように、主被写体Ｏｂは、正常に写し出される。

【0048】

一方、図５Ｂに示すように、主被写体Ｏｂにおける体幹面や顔面が、前記第１距離Ｌｈ１より表示面に近い表示面からの第２距離Ｌｈ２の位置に存在するように、主被写体Ｏｂが位置する場合には（第１距離Ｌｈ１＞第２距離Ｌｈ２）、第２画角θ２を調整しないと、図６Ｂに示すように、主被写体Ｏｂの一部または全部が第２画角θ２の範囲外となり、第２画角θ２の第１１および第１２標準画像を連結した合成画像には、主被写体Ｏｂの一部または全部が欠落することになる。このため、合成部４３は、上述のように、互いに隣接する２個の第１および第２撮像部２で前記主被写体を写し込んだ第１および第２原画像が生成されている場合に、前記第１および第２原画像のうちの一方に対し、前記隣接側の第２画角を所定角度だけ広げ、前記第１および第２原画像のうちの他方に対し、前記隣接側の第２画角を前記所定角度に対応する角度だけ狭くすることで、前記第２画角を調整する。図５Ｂに示す例では、合成部４３は、第１２原画像に対し、隣接側の第２画角θ２を第１画角θ１まで所定角度θｅだけ広げ（隣接側において、第２画角θ２の他方境界線を第１画角θ１の他方境界線に一致させ、θ２←θ２＋θｅ）、これによって第２画角θ２を調整した第１２標準画像を生成する。これにより、第２画角θ２の調整後の第１２標準画像には、第１２撮像部２－２の第１画角θ１の他方境界線上における第２距離Ｌｈ２の点を通る表示面の第４法線Ｌｖ４から、前記第３法線Ｌｖ３までの間の被写体が写り込まれ、主被写体Ｏｂの全体が写り込まれる。そして、合成部４３は、第１１原画像に対し、上述の第１２原画像に対して第２画角θ２を広げた所定角度θｅに対応する角度θｄだけ、隣接側の第２画角θ２を狭め（θ２←θ２－θｄ）、これによって第２画角θ２を調整した第１１標準画像を生成する。これにより、第２画角θ２の調整後の第１１標準画像には、前記第４法線Ｌｖ４から前記第１法線Ｌｖ１の間の被写体が写り込まれる。言い換えれば、第２画角θ２を調整していない第１１標準画像と第２画角θ２の調整後の第１２標準画像との重複する画像部分（前記第２法線Ｌｖ２から前記第４法線Ｌｖ４までの間の被写体を写し込んだ画像部分）が、前記第２画角θ２を調整していない第１１標準画像から除去されることによって、第２画角θ２を調整した第１１標準画像が生成される。そして、合成部４３は、これら第２画角θ２の調整後の第１１および第１２標準画像を連結することによってその合成画像を生成する。この合成画像を、説明の便宜上、自機ＩＤの表示部７に表示する場合、前記合成画像の前記第１２標準画像における調整前の第２画角θ２に対応する部分は、第１２表示部７－２に表示され、前記合成画像の前記第１２標準画像における第２画角θ２の調整により増加した前記所定角度θｅに対応する部分は、第１１表示部７－１に表示され、前記合成画像における第１１標準画像の部分は、第１１表示部７－１に表示される。主被写体Ｏｂ全体を写し込んだ第１２原画像を第１２標準画像として利用するので、主被写体Ｏｂは、正常に写し出される。

【0049】

なお、図５Ｂに示す場合では、主被写体Ｏｂは、第１画角θ１の第１１原画像にその全体が写り込むので、第１１原画像に対し第２画角θ２を広げ、第１２原画像に対し第２画角θ２を狭めることによって、第２画角θ２が調整されてもよい。

【0050】

一方、図５Ｃに示すように、主被写体Ｏｂにおける体幹面や顔面が、前記第１距離Ｌｈ１より表示面から遠い表示面からの第３距離Ｌｈ３の位置に存在するように、主被写体Ｏｂが位置する場合には（第３距離Ｌｈ３＞第１距離Ｌｈ１）、第２画角θ２を調整しないと、図６Ｃに示すように、主被写体Ｏｂの一部または全部が第１１および第１２原画像の各第２画角θ２の範囲内となり、第２画角θ２の第１１および第１２標準画像を連結した合成画像には、主被写体Ｏｂの一部または全部が複数で表示されることになる。このため、合成部４３は、上述のように、互いに隣接する２個の第１および第２撮像部２で前記主被写体を写し込んだ第１および第２原画像が生成されている場合に、前記第１および第２原画像のうちの一方に対し、前記隣接側の第２画角を所定角度だけ広げ、前記第１および第２原画像のうちの他方に対し、前記隣接側の第２画角を前記所定角度に対応する角度だけ狭くすることで、前記第２画角を調整する。図５Ｃに示す例では、合成部４３は、第１１原画像に対し、隣接側の第２画角θ２を第１画角θ１まで所定角度θｅだけ広げ（隣接側において、第２画角θ２の一方境界線を第１画角θ１の一方境界線に一致させ、θ２←θ２＋θｅ）、これによって第２画角θ２を調整した第１１標準画像を生成する。これにより、第２画角θ２の調整後の第１１標準画像には、前記第１法線Ｌｖ１から、第１１撮像部２－１の第１画角θ１の他方境界線上における第３距離Ｌｈ３の点を通る表示面の第５法線Ｌｖ５までの間の被写体が写り込まれ、主被写体Ｏｂの全体が写り込まれる。そして、合成部４３は、第１２原画像に対し、上述の第１１原画像に対して第２画角θ２を広げた所定角度θｅに対応する角度θｄだけ、隣接側の第２画角θ２を狭め（θ２←θ２－θｄ）、これによって第２画角θ２を調整した第１２標準画像を生成する。これにより、第２画角θ２の調整後の第１２標準画像には、前記第５法線Ｌｖ５から前記第３法線Ｌｖ３の間の被写体が写り込まれる。言い換えれば、第２画角θ２の調整後の第１１標準画像と第２画角θ２を調整していない第１２標準画像との重複する画像部分（前記第２法線Ｌｖ２から前記第５法線Ｌｖ５までの間の被写体を写し込んだ画像部分）が、前記第２画角θ２を調整していない第１２標準画像から除去されることによって、第２画角θ２を調整した第１２標準画像が生成される。そして、合成部４３は、これら第２画角θ２の調整後の第１１および第１２標準画像を連結することによってその合成画像を生成する。この合成画像を、説明の便宜上、自機ＩＤの表示部７に表示する場合、前記合成画像の前記第１１標準画像における調整前の第２画角θ２に対応する部分は、第１１表示部７－１に表示され、前記合成画像の前記第１１標準画像における第２画角θ２の調整により増加した前記所定角度θｅに対応する部分は、第１２表示部７－２に表示され、前記合成画像における第２標準画像は、第１２表示部７－２に表示される。主被写体Ｏｂを写し込んだ第１１および第１２原画像のうちの一方の第１１原画像を第１１標準画像として利用するので、主被写体Ｏｂは、正常に写し出される。

【0051】

なお、上述では、第１１原画像に対し第２画角θ２を広げ、第１２原画像に対し第２画角θ２を狭めることによって、第２画角θ２が調整されたが、第１２原画像に対し第２画角θ２を広げ、第１１原画像に対し第２画角θ２を狭めることによって、第２画角θ２が調整されてもよい。

【0052】

互いに隣接する撮像部２間の距離、撮像部２の画角、主被写体Ｏｂの大きさ（サイズ）および主被写体Ｏｂの位置に応じて第２画角θ２を広狭する撮像部２が決定される。本実施形態では、互いに隣接する２個の第１および第２撮像部２のうちのいずれか１つの撮像部２の配置位置、例えば、図５に示す例では、第１１撮像部２－１の配設位置が前記所定の基準点とされ、第１および第２撮像部２で前記主被写体Ｏｂを写し込んだ第１および第２原画像を生成した場合において、主被写体Ｏｂの位置と、隣接側の第２画角θ２を所定角度θｅだけ広げる対象の撮像部２（原画像）および隣接側の第２画角θ２を前記所定角度θｅに対応する角度θｄだけ狭める対象の撮像部２（原画像）との関係を表す情報（第２画角調整用情報）が予め用意され、この第２画角調整用情報が記憶部５に前記各種データの１つとして予め記憶され、合成部４３は、前記所定の基準点に対する、位置処理部４２で求めた主被写体Ｏｂの位置に基づき第２画角調整用情報を参照することによって、前記第１および第２原画像のうちの一方に対し、前記隣接側の第２画角θ２を所定角度θｅだけ広げ、前記第１および第２原画像のうちの他方に対し、前記隣接側の第２画角θ２を前記所定角度θｅに対応する角度θｄだけ狭くすることで、前記第２画角θ２を調整する。

【0053】

なお、上述では、標準画像の第２画角θを調整する場合、前記第２画角θ２が第１画角θ１まで所定角度θｅだけ広げられたが、前記第２画角θ２は、主被写体Ｏｂ全体を含む所定角度θｅだけ広げられてもよい。

【0054】

上述の説明では、説明の便宜上、合成画像は、自機ＩＤの表示部７に表示される場合について説明したが、テレビ会議システムＳでは、自機ＩＤにネットワークＮＷを介して通信可能に接続された他の撮像表示装置ＩＤや他の表示装置Ｄの表示部に表示される。もちろん、撮像表示装置ＩＤがスタンドアローンで用いられる場合等では、合成画像は、自機ＩＤの表示部７に表示されてよい。あるいは、テレビ会議システムでも、他の撮像表示装置ＩＤで生成された合成画像を表示している表示部７の表示領域の一部にウィンドウが新たに設けられ、自機ＩＤの合成画像が前記ウィンドウに表示されてもよい。

【0055】

これら制御処理部４、記憶部５、入力部６、通信部８およびＩＦ部３は、例えば、通信機能付きの、デスクトップ型やノート型等のコンピュータによって構成可能である。

【0056】

このような構成の撮像表示装置ＩＤにおいて、ＩＦ部３および制御処理部４の合成部４３が画像処理装置を構成し、その一例に相当する。

【0057】

次に、本実施形態の動作について説明する。図７は、前記撮像表示装置の動作を示すフローチャートである。図８は、理想的な撮像表示装置を説明するための図である。図８Ａは、微小カメラの画角を説明するための上面図であり、図８Ｂは、ＲＧＢ画素および前記微小カメラの配列を説明するための正面図であり、図８Ｃは、ＲＧＢ画素および前記微小カメラの配列の変形形態を説明するための図である。

【0058】

このような構成のテレビ会議システムＳの撮像表示装置ＩＤ（画像処理装置）は、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部４には、その制御処理プログラムの実行によって、制御部４１、位置処理部４２および合成部４３が機能的に構成される。テレビ会議システムＳの開始の指示を入力部６で受け付けると、撮像表示装置ＩＤは、制御処理部４の制御部４１によって、通信部８を制御することにより、通信先の他の撮像表示装置ＩＤや他の表示装置ＤとネットワークＮＷと通信可能に接続する。そして、例えば、テレビ会議システムＳの終了の指示を入力部６で受け付けるまで、合成画像の生成およびその送信に関し、以下の図７に示す各処理Ｓ１～Ｓ７が予め適宜に設定された所定のサンプリング間隔、例えば所定のフレームレートに対応する間隔で繰り返し実行される。

【0059】

図７において、まず、撮像表示装置ＩＤは、制御処理部４の制御部４１によって、位置用撮像部１および複数の撮像部２で位置情報としての画像および複数の原画像を取得する（Ｓ１）。

【0060】

次に、撮像表示装置ＩＤは、制御処理部４の位置処理部４２によって、所定の基準点に対する、主被写体Ｏｂの位置を求める（Ｓ２）。

【0061】

次に、撮像表示装置ＩＤは、制御処理部４の合成部４３によって、互いに隣接する２個の撮像部２において、第２画角θ２の調整が必要か否かを判定する。例えば、合成部４３は、位置処理部４２で求めた主被写体Ｏｂの位置に基づき第２画角調整用情報を参照することによって、第２画角θ２の調整が必要か否かを判定する。この判定の結果、第２画角θ２の調整が必要ではない場合（Ｎｏ）には、撮像表示装置Ｄは、次に、処理Ｓ４を実行する。一方、前記判定の結果、第２画角θ２の調整が必要である場合（Ｙｅｓ）には、撮像表示装置Ｄは、次に、処理Ｓ５を実行する。

【0062】

この処理Ｓ４では、撮像表示装置ＩＤは、合成部４３によって、図５Ａを用いて説明したように、処理Ｓ３で判定した前記互いに隣接する２個の撮像部２で生成した各原画像それぞれから、第２画角θ２で切り出して各標準画像を生成する。

【0063】

前記処理Ｓ５では、撮像表示装置ＩＤは、合成部４３によって、図５Ｂおよび図５Ｃを用いて説明したように、処理Ｓ３で判定した前記互いに隣接する２個の撮像部２で生成した各原画像のうちの一方に対し、前記隣接側の第２画角を所定角度だけ広げ、前記各原画像のうちの他方に対し、前記隣接側の第２画角を前記所定角度に対応する角度だけ狭くすることで、前記第２画角を調整し、前記第２画角を調整した各標準画像を生成する。

【0064】

このような処理Ｓ３ないし処理Ｓ５が、前記複数の撮像部２における、互いに隣接する２個の撮像部２の全ての組について実行され、前記全ての組についての実行が終了すると、撮像表示装置Ｄは、次に、処理Ｓ６を実行する。

【0065】

この処理Ｓ６では、撮像表示装置ＩＤは、合成部４３によって、前記複数の原画像それぞれについての複数の標準画像を前記複数の撮像部２の配置順に応じて順次に連結することによって合成画像を生成し、次に、処理Ｓ７を実行する。

【0066】

この処理Ｓ７では、撮像表示装置ＩＤは、制御処理部４の制御部４１によって、通信部８を制御することにより、処理Ｓ６で生成した合成画像を、通信先の他の撮像表示装置ＩＤや他の表示装置Ｄへ送信し、今回の処理を終了する。

【0067】

テレビ会議システムに好適に利用できる撮像表示装置は、理想的には、図８Ａに示すように、画角の広がらない複数の微小カメラを、図８Ｂに示すように、ＲＧＢの各画素に並置するように、あるいは、図８Ｃに示すように、ＲＧＢの各画素と合わせて１個の画素を構成するように、ＲＧＢの各画素の組ごとに備えることが好ましい。このような理想的な撮像表示装置では、主被写体Ｏｂが表示面の前におけるいずれの位置でいずれの方向を向いて位置しても、主被写体Ｏｂを各微小カメラで撮像し、主被写体Ｏｂを正常に写し出せる。このような複数の微小カメラをＲＧＢの各画素の組ごとに組み込むことは、現時点では、現実的ではなく、本実施形態のように、表示領域を区分けした複数の領域それぞれにカメラを設けることが現実的である。

【0068】

このような場合、単に、第２画角の標準画像を順次に連結することによって合成画像を生成する場合、主被写体Ｏｂの位置によって、図６Ｂおよび図６Ｃを用いて上述したように、前記主被写体Ｏｂの一部が欠けて前記合成画像に写し出されたり、前記主被写体Ｏｂが複数で前記合成画像に写し出されたり等の、前記主被写体Ｏｂが正常に写し出されない場合が生じる。

【0069】

実施形態における撮像表示装置ＩＤ、これに備えられた画像処理装置およびこれに実装された画像処理方法は、所定の主被写体を写し込んだ原画像の一部を前記標準画像とする際に、第１画角の原画像に正常に写り込んでいる主被写体の画像領域を利用するために、所定の基準点に対する、前記主被写体の位置に応じて前記第２画角を調整する。このため、上記撮像表示装置ＩＤ、画像処理装置および画像処理方法は、複数の撮像部２それぞれで生成した複数の画像を合成する場合に、被写体を正常に写し出した合成画像を生成できる。

【0070】

上記撮像表示装置ＩＤ、画像処理装置および画像処理方法は、主被写体が一方向に、例えば水平方向に移動する場合でも、あるいは例えば主被写体の頭部が垂直方向に移動する場合でも、前記主被写体を正常に写し出した合成画像を生成できる。

【0071】

上記撮像表示装置ＩＤは、ネットワークを介して通信可能に接続された、他の表示装置または他の撮像表示装置に、被写体を正常に写し出した合成画像を表示できる。

【0072】

なお、上述の実施形態では、主被写体Ｏｂの位置は、位置用撮像部１で生成した、位置情報としての画像に基づいて求めたが、撮像表示装置ＩＤ（画像処理装置）は、主被写体Ｏｂの位置を測定する、例えば赤外線レーザ光を用いたレーダ装置等の位置測定部を備えてもよい。このような位置測定部は、位置用撮像部１のように、前記主被写体Ｏｂを上方から測定するように配置されてよく、あるいは、撮像部２のように、表示部７における表示面の前面、その背面、または、隙間領域ＳＰに配置されてよい。このような位置測定部は、小型であることが好ましい。あるいは、撮像表示装置ＩＤ（画像処理装置）は、主被写体Ｏｂを写し込んだ１対の原画像をステレオ画像として前記主被写体Ｏｂの位置を求める位置演算部を備えてもよい。この場合では、互いに隣接する２個の撮像装置の間隔が基線長として、前記各種データの１つとして予め記憶部５に記憶され、前記１対の原画像から前記主被写体Ｏｂの視差が求められ、いわゆる三角測量の原理から、前記主被写体Ｏｂの位置が求められる。

【0073】

また、上述の実施形態において、前記複数の撮像部２は、動画を生成する装置であり、前記複数の原画像は、動画であり、前記合成部４３は、前記第２画角の調整における広狭を切り換える際に、前記標準画像をモーフィングしてもよい。例えば、図５に示す例において、第１２原画像に対し第２画角θ２を広げ、第１１原画像に対し第２画角θ２を狭めることによって第２画角θ２を調整している場合に、主被写体Ｏｂの水平方向の移動により、広狭を切り換えて、第１２原画像に対し第２画角θ２を狭め、第１１原画像に対し第２画角θ２を広げることによって第２画角θ２を調整する際に、第１１および第１２標準画像がモーフィングされる。前記モーフィングでは、切換え前の画像から切換え後の画像へ変形していく複数の中間画像がコンピュータグラフィックスの手法により補完して生成され、表示される。前記モーフィングには、公知の常套手段が利用される。このような撮像表示装置ＩＤ、画像処理装置および画像処理方法は、標準画像をモーフィングするので、第２画角の調整における広狭を切り換える際に、主被写体が滑らかに動く合成画像の動画を生成できる。

【0074】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0075】

Ｓ テレビ会議システム、ＩＤ 撮像表示装置、１ 位置用撮像部、２（２－１～２－４） 撮像部、３ インターフェース部（ＩＦ部）、４ 制御処理部、５ 記憶部、６ 入力部、７ 表示部、８ 通信部、４１ 制御部、４２ 位置処理部、４３ 合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】