(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023013256
(43)【公開日】2023-01-26
(54)【発明の名称】画像通信装置
(51)【国際特許分類】
H04N 7/14 20060101AFI20230119BHJP
【FI】
H04N7/14
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021117291
(22)【出願日】2021-07-15
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 研究報告ヒューマンコンピュータインタラクション(HCI)2020-HCI-189巻 12号 一般社団法人情報処理学会 令和2年8月28日発行
(71)【出願人】
【識別番号】508236240
【氏名又は名称】公立大学法人公立はこだて未来大学
(71)【出願人】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】竹川 佳成
(72)【発明者】
【氏名】平田 圭二
(72)【発明者】
【氏名】松村 耕平
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA09
5C164UB81S
5C164VA04S
5C164VA07S
5C164VA41P
(57)【要約】
【課題】自由度の高いコミュニケーションを操作者だけの操作により実現するオンラインコミュニケーションツールを提供する。
【解決手段】画像通信装置1は、操作者の側を撮影する第1のカメラと、操作者の反対側を撮影する第2のカメラと、操作者の側を向く第1の表示部と、操作者の反対側を向く第2の表示部と、通信部と、制御部と、を備える。第1の表示部および第2の表示部は、それぞれ独立に、第1のカメラまたは第2のカメラで撮影された画像を表示する。通信部は、第1のカメラまたは第2のカメラで撮影された画像を遠隔地の通信装置に送信し、送信された画像を遠隔地の通信装置の表示部に表示させる。記制御部は、第1の表示部、第2の表示部および遠隔地の通信装置の表示部への画像の表示をそれぞれ独立に制御する。制御部の制御内容は、操作者が単独で操作可能である。
【選択図】
図1
【特許請求の範囲】
【請求項1】
操作者の側を撮影する第1のカメラと、
前記操作者の反対側を撮影する第2のカメラと、
前記操作者の側を向く第1の表示部と、
前記操作者の反対側を向く第2の表示部と、
通信部と、
制御部と、を備え、
前記第1の表示部および前記第2の表示部は、それぞれ独立に、前記第1のカメラまたは前記第2のカメラで撮影された画像を表示し、
前記通信部は、前記第1のカメラまたは前記第2のカメラで撮影された画像を遠隔地の通信装置に送信し、送信された画像を前記遠隔地の通信装置の表示部に表示させ、
前記制御部は、前記第1の表示部、前記第2の表示部および前記遠隔地の通信装置の表示部への画像の表示をそれぞれ独立に制御し、
前記制御部の制御内容は、前記操作者が単独で操作可能であることを特徴とする画像通信装置。
【請求項2】
前記操作者の周囲を撮影する第3のカメラをさらに備え、
前記第1の表示部および前記第2の表示部は、それぞれ独立に、前記第1のカメラ、前記第2のカメラまたは前記第3のカメラで撮影された画像を表示し、
前記通信部は、前記第1のカメラ、前記第2のカメラまたは前記第3のカメラで撮影された画像を前記遠隔地の通信装置に送信することを特徴とする請求項1に記載の画像通信装置。
【請求項3】
前記遠隔地の通信装置はカメラを備え、
前記通信部は、前記遠隔地の通信装置のカメラで撮影された画像を受信し、受信した画像を前記第1の表示部および前記第2の表示部に表示させ、
前記第1の表示部、前記第2の表示部および前記遠隔地の通信装置の表示部は、それぞれ独立に、前記第1のカメラ、前記第2のカメラまたは前記遠隔地の通信装置のカメラで撮影された画像を表示することを特徴とする請求項2に記載の画像通信装置。
【請求項4】
予め用意された画像コンテンツを記憶する記憶部をさらに備え、
前記第1の表示部および前記第2の表示部は、それぞれ独立に、前記第1のカメラで撮影された画像、前記第2のカメラで撮影された画像または前記記憶部に記憶された画像コンテンツを表示し、
前記通信部は、前記第1のカメラで撮影された画像、前記第2のカメラで撮影された画像または前記記憶部に記憶された画像コンテンツを前記遠隔地の通信装置に送信することを特徴とする請求項1から3のいずれかに記載の画像通信装置。
【請求項5】
前記第1のカメラおよび前記第2のカメラとおよび前記第3のカメラとそれぞれ対になったマイクと、
前記マイクの各々によって集音された音を再生するスピーカと、をさらに備え、
前記マイクの各々は、それぞれ、前記第1のカメラ、前記第2のカメラおよび前記第3のカメラの周辺の音を集音することを特徴とする請求項2に記載の画像通信装置。
【請求項6】
前記制御部は、前記マイクの各々によって集音された音の再生をそれぞれ独立に制御することを特徴とする請求項5に記載の画像通信装置。
【請求項7】
前記操作者が前記制御部の制御内容を操作するための操作パネルをさらに備えることを特徴とする請求項1から6のいずれかに記載の画像通信装置。
【請求項8】
前記第1のカメラおよび前記第2のカメラが撮影する方向と異なる方向を撮影する第4のカメラと、
前記第4のカメラが撮影する方向を向く第3の表示部と、をさらに備え、
前記第1の表示部、前記第2の表示部および前記第3の表示部は、それぞれ独立に、前記第1のカメラ、前記第2のカメラまたは前記第4のカメラで撮影された画像を表示し、
前記通信部は、前記第1のカメラ、前記第2のカメラまたは前記第4のカメラで撮影された画像を前記遠隔地の通信装置に送信することを特徴とする請求項1に記載の画像通信装置。
【請求項9】
前記第1のカメラおよび前記第2のカメラで撮影された画像を3D画像化する3D画像化部をさらに備えることを特徴とする請求項1に記載の画像通信装置。
【請求項10】
前記第1の表示部および前記第2の表示部に表示させるためのAR画像を生成するAR画像生成部をさらに備えることを特徴とする請求項1に記載の画像通信装置。
【請求項11】
前記操作者の周辺全体の音を集音する無指向性マイクをさらに備えることを特徴とする請求項5に記載の画像通信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像通信装置に関する。
【背景技術】
【0002】
インターネットユーザが遠隔地にあるオブジェクトをどの方向からも立体的に見ることのできる、双方向型仮想テレプレゼンスシステムが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
旅行や展示会など、不特定多数の人が集まるイベントは、人間の日常生活に欠かせない。しかしながら開催地が遠いとか、病気療養中である、などといった理由で、こうしたイベントに参加できない人もいる。特に昨今のパンデミックの状況下にあっては、感染拡大を予防する観点から、イベントの参加人数や人の移動が厳しく制限される。これに対し最近普及の進むオンラインコミュニケーションツール(zoom(登録商標)、skype(登録商標)等)を利用することにより、現地に行かなくても、遠隔地にいながら映像や音声を共有することができるようになった。以下、こうした遠隔地にいる人(以下、「クライアント」と呼ぶ)が、現地にいる人(以下、「レポータ」と呼ぶ)に同行しているような仮想的な動向体験のことを「オンラインツアー」と呼ぶ。
【0005】
しかしながら、従来のオンラインコミュニケーションツールには、実現できるコミュニケーションが限られた視野のカメラを用いたものに限定されるとか、予定外の第三者がイベントに登場したような場合に当該第三者も含めたコミュニケーションが十分取れない、などといった制限がある。このため、自由なコミュニケーションを実現できないということが問題となる。また多くのカメラを備えたオンラインコミュニケーションツールを使用する場合は、機器類が大規模となり操作や管理が複雑になるため、操作者だけの操作では運用・制御できないことも問題となる。
【0006】
本発明はこうした状況に鑑みてなされたものであり、その目的は、自由度の高いコミュニケーションを操作者だけの操作により実現するオンラインコミュニケーションツールを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様の画像通信装置は、操作者の側を撮影する第1のカメラと、操作者の反対側を撮影する第2のカメラと、操作者の側を向く第1の表示部と、操作者の反対側を向く第2の表示部と、通信部と、制御部と、を備える。第1の表示部および第2の表示部は、それぞれ独立に、第1のカメラまたは第2のカメラで撮影された画像を表示する。通信部は、第1のカメラまたは第2のカメラで撮影された画像を遠隔地の通信装置に送信し、送信された画像を当該遠隔地の通信装置の表示部に表示させる。制御部は、第1の表示部、第2の表示部および遠隔地の通信装置の表示部への画像の表示をそれぞれ独立に制御する。制御部の制御内容は、操作者のみにより操作可能である。
【0008】
この態様によると、自由度の高いコミュニケーションを操作者だけの操作により実現できるオンラインコミュニケーションツールとしての画像通信装置を提供することができる。
【0009】
ある実施の形態では、画像通信装置は、操作者の周囲を撮影する第3のカメラをさらに備えてもよい。第1の表示部および第2の表示部は、それぞれ独立に、第1のカメラ、第2のカメラまたは第3のカメラで撮影された画像を表示してもよい。通信部は、第1のカメラ、第2のカメラまたは第3のカメラで撮影された画像を遠隔地の通信装置に送信してもよい。
【0010】
ある実施の形態では、遠隔地の通信装置はカメラを備えてもよい。画像通信装置の通信部は、遠隔地の通信装置のカメラで撮影された画像を受信し、当該受信した画像を第1の表示部および第2の表示部に表示させてもよい。第1の表示部、第2の表示部および遠隔地の通信装置の表示部は、それぞれ独立に、第1のカメラ、第2のカメラまたは遠隔地の通信装置のカメラで撮影された画像を表示してもよい。
【0011】
ある実施の形態では、画像通信装置は、予め用意された画像コンテンツを記憶する記憶部をさらに備えてもよい。第1の表示部および第2の表示部は、それぞれ独立に、第1のカメラで撮影された画像、第2のカメラで撮影された画像または記憶部に記憶された画像コンテンツを表示してもよい。通信部は、第1のカメラで撮影された画像、第2のカメラで撮影された画像または記憶部に記憶された画像コンテンツを遠隔地の通信装置に送信してもよい。
【0012】
ある実施の形態では、画像通信装置は、第1のカメラ、第2のカメラおよび第3のカメラとそれぞれ対になったマイクと、当該マイクの各々によって集音された音を再生するスピーカと、をさらに備えてもよい。これらのマイクの各々は、それぞれ、第1のカメラ、第2のカメラおよび第3のカメラの周辺の音を集音してもよい。このとき、制御部は、これらのマイクの各々によって集音された音の再生をそれぞれ独立に制御してもよい。
【0013】
ある実施の形態では、画像通信装置は、操作者が制御部の制御内容を操作するための操作パネルをさらに備えてもよい。
【0014】
ある実施の形態では、画像通信装置は、第1のカメラおよび第2のカメラが撮影する方向と異なる方向を撮影する第4のカメラと、第4のカメラが撮影する方向を向く第3の表示部と、をさらに備えてもよい。第1の表示部、第2の表示部および第3の表示部は、それぞれ独立に、第1のカメラ、第2のカメラまたは第4のカメラで撮影された画像を表示してもよい。通信部は、第1のカメラ、第2のカメラまたは第4のカメラで撮影された画像を遠隔地の通信装置に送信してもよい。
【0015】
ある実施の形態では、画像通信装置は、第1のカメラおよび第2のカメラで撮影された画像を3D画像化する3D画像化部をさらに備えてもよい。
【0016】
ある実施の形態では、画像通信装置は、第1の表示部および第2の表示部に表示させるためのAR画像を生成するAR画像生成部をさらに備えてもよい。
【0017】
ある実施の形態では、画像通信装置は、操作者の周辺全体の音を集音する無指向性マイクをさらに備えてもよい。
【0018】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【0019】
本発明によれば、自由度の高いコミュニケーションを操作者だけの操作により実現できるオンラインコミュニケーションツールを提供することができる。
【図面の簡単な説明】
【0020】
【
図1】第1の実施の形態に係る画像通信装置の機能ブロック図である。
【
図2】
図1の画像通信装置をオンラインツアーに使用しているときの様子を示す図である。
【
図3】第2の実施の形態に係る画像通信装置の機能ブロック図である。
【
図4】レポータが
図3の画像通信装置の本体を左手に持ち、第3のカメラを右手に持つ様子を示す図である。
【
図5】(a)は、
図3の画像通信装置2の第1の表示部に表示された画像を示す。(b)は、
図3の画像通信装置の第2の表示部に表示された画像を示す。(c)は、クライアントの通信端末の表示部に表示された画像を示す。
【
図6】第3の実施の形態に係る画像通信装置の機能ブロック図である。
【
図7】第4の実施の形態に係る画像通信装置の機能ブロック図である。
【
図8】第5の実施の形態に係る画像通信装置の機能ブロック図である。
【
図9】第6の実施の形態に係る画像通信装置の機能ブロック図である。
【
図10】第7の実施の形態に係る画像通信装置の機能ブロック図である。
【
図11】第8の実施の形態に係る画像通信装置の機能ブロック図である。
【
図12】第9の実施の形態に係る画像通信装置の機能ブロック図である。
【
図13】第10の実施の形態に係る画像通信装置の機能ブロック図である。
【発明を実施するための形態】
【0021】
以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態および変形例では、同一または同等の構成要素、部品には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部品の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない要素の一部は省略して表示する。また、第1、第2などの序数を含む用語は多様な構成要素を説明するために用いられるが、この用語は1つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。
【0022】
具体的な実施の形態を説明する前に、先ず概要を説明する。本実施の形態は、画像通信装置(以下、「本画像通信装置」と呼ぶ)に関する。以下では、本画像通信装置を旅行に関するオンライツアーに使用する例を説明する。この場合、レポータ(例えばツアーガイド)が本画像通信装置を携帯し、現地で移動しながらこれを操作する。遠隔地にいるクライアントは、表示部を備えた通信端末(スマートフォンやタブレット端末などの通信装置)を用いてオンラインツアーに参加する。
【0023】
本画像通信装置は、本画像通信装置の操作者であるレポータ(以下、「操作者」とも呼ぶ)の側を撮影するカメラ(以下、「第1のカメラ」と呼ぶ)と、操作者の反対側を撮影するカメラ(以下、「第2のカメラ」と呼ぶ)と、を備える。第1のカメラは、スマートフォンのフロントカメラまたはインカメラに相当する。第2のカメラは、スマートフォンのリアカメラまたはアウトカメラに相当する。本画像通信装置はまた、操作者の側を向く表示部(以下、「第1の表示部」と呼ぶ)と、操作者の反対側を向く表示部(以下、「第2の表示部」と呼ぶ)と、を備える。第1の表示部はスマートフォンのディスプレイに相当するが、第2の表示部は従来のスマートフォンには備わっていない構成であることに注意する。
【0024】
第1の表示部および第2の表示部は、それぞれ独立に、第1のカメラまたは第2のカメラで撮影された画像を表示する。すなわち第1の表示部と第2の表示部に表示される画像は、同じ画像であってもよく、異なる画像であってもよい。第1の表示部と第2の表示部に表示される画像の表示方法(画像の配置、画像の大小比率、画像の拡大率・縮小率、解像度、カラーバランス等)もまた、同じであってもよいし、異なっていてもよい。例えば、第1の表示部および第2の表示部には、ともに第1のカメラで撮影された画像が表示されてもよい。あるいは、第1の表示部には第2のカメラで撮影された画像が表示され、第2の表示部には第1のカメラで撮影された画像が表示されてもよい。さらには、第1の表示部には第1のカメラで撮影された画像と第2のカメラで撮影された画像の両方が3:7の大きさの比率で表示され、第2の表示部には第1のカメラで撮影された画像と第2のカメラで撮影された画像の両方が1:1の大きさの比率で表示されてもよい。
【0025】
本画像通信装置は、通信部を備える。この通信部は、第1のカメラまたは第2のカメラで撮影された画像をクライアントの通信端末に送信し、送信された画像をクライアントの通信端末の表示部に表示させる。クライアントの通信端末の表示部に表示される画像は、第1の表示部や第2の表示部に表示される画像と同じ画像であってもよいし、異なる画像であってもよい。
【0026】
本画像通信装置は、制御部を備える。この制御部は、第1の表示部、第2の表示部およびクライアントの通信端末の表示部への画像の表示をそれぞれ独立に制御する。すなわち、第1の表示部、第2の表示部およびクライアントの通信端末の表示部への表示画像として、どの画像を表示するかをそれぞれ別々に選択したり、表示方法(画像配置、拡大率・縮小率、解像度、カラーバランス等)をそれぞれ別々に変えたりすることができる。そしてこれらの表示制御は、操作者が単独で操作することができる。
【0027】
レポータ(操作者)は、本画像通信装置を携帯しながら現地を移動する。このとき第1のカメラは、レポータが現地の様子を説明したり、感想を述べたりする姿を撮影する。第2のカメラは、レポータの目に映る姿を撮影する。このとき、例えば訪問先の店の店員や、現地で偶然出会った人など(以下、「第三者」と呼ぶ)が、オンラインツアーのコミュニケーションに参加したい場合がある。こうした第三者は、予め決められた者とは限らないし、通信端末を持っているとも限らないし、コミュニケーションにいつ参加しいつ離脱するかも分からない。このような場合であっても、本画像通信装置は、第2のカメラを用いてこうした第三者を撮影することができる。このとき第1の表示部は、レポータに向けて第1のカメラや第2のカメラが撮影した画像を表示する。一方第2の表示部は、第三者に向けて第1のカメラや第2のカメラが撮影した画像を表示する。クライアント端末の表示部は、クライアントに向けて第1のカメラや第2のカメラが撮影した画像を表示する。これにより、レポータ、クライアントおよび第三者は、3者間で自由にコミュニケーションを交わすことができる。このとき、第1の表示部、第2の表示部およびクライアント端末の表示部に、それぞれどんな画像をどのような形で表示させるかは、レポータが単独で自由に操作し、制御することができる。従ってオンラインツアーにおけるコミュニケーションの自由度が、従来に比べ飛躍的に向上する。
【0028】
さらに本画像通信装置は、シンプルな機器構成と操作インタフェースとを用いて構成することができるため、操作や管理が簡易となり、表示画面等の制御を操作者単独の操作により実現することができる。
【0029】
以上説明したように、本実施の形態に係る画像通信装置は、自由度の高いコミュニケーションを操作者だけの操作により実現できるオンラインコミュニケーションツールを提供することができる。
【0030】
上記では、旅行を例としてオンライツアーでの活用を説明した。しかしこれに限られず、本画像通信装置は、展示会、学芸会、スポーツイベント、結婚式、入学式・卒業式、会社案内・学校案内など様々なオンラインツアーへの応用が可能である。また上記の例では、レポータとクライアントとがエンドツーエンドで直接コミュニケーションを交わした。しかしこれに限られず、本実施の形態に係る画像通信装置は、テレビ番組の出演者(レポータ)から視聴者(クライアント)への情報提供など、放送局やオンラインサービス提供者を介したサービス提供に使用することもできる。
【0031】
[第1の実施の形態]
図1は第1の実施の形態に係る画像通信装置1の機能ブロック図である。画像通信装置1は、第1のカメラ11と、第2のカメラ12と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、を備える。画像通信装置1は、インターネットなどのネットワークを介して、遠隔にいるクライアントの通信端末100に接続される。クライアントの通信端末100は表示部120を備える。
【0032】
第1のカメラ11は、レポータ(操作者)の側(主にレポータ自身)を撮影する。第2のカメラ12は、レポータの反対側(主にレポータが見るもの)を撮影する。第1の表示部21はレポータの側を向き、主にレポータによって観察される。第2の表示部22はレポータの反対側を向き、主にレポータに向かい合う人によって観察される。
【0033】
第1の表示部21および第2の表示部22は、それぞれ独立に、第1のカメラ11または第2のカメラ12で撮影された画像を表示する。例えば第1の表示部21と第2の表示部22に表示される画像は、同じ画像であってもよいし、異なる画像であってもよい。第1の表示部21と第2の表示部22に表示される画像の表示方法(画像の配置、画像の大小比率、画像の拡大率・縮小率、解像度、カラーバランス等)もまた、同じであってもよいし、異なっていてもよい。
【0034】
通信部30は、第1のカメラ11または第2のカメラ12で撮影された画像をクライアントの通信端末100に送信し、送信された画像をクライアントの通信端末100の表示部120に表示させる。クライアントの通信端末100の表示部120に表示される画像は、第1の表示部21や第2の表示部22に表示される画像と同じ画像であってもよいし、異なる画像であってもよい。クライアントの通信端末100の表示部120に表示される画像の表示方法もまた、第1の表示部21や第2の表示部22に表示される画像のものと同じであってもよいし、異なっていてもよい。
【0035】
制御部40は、第1の表示部21、第2の表示部22およびクライアントの通信端末100の表示部120への画像の表示をそれぞれ独立に制御する。すなわち、第1の表示部21、第2の表示部22およびクライアントの通信端末100の表示部120への表示画像として、どの画像を表示するかをそれぞれ別々に選択したり、表示方法をそれぞれ別々に変えたりすることができる。そしてこれらの表示制御は、レポータ(操作者)が単独で操作することができる。
【0036】
図2に、画像通信装置1をオンラインツアーに使用しているときの様子を示す。ここでは、レポータが画像通信装置1を左手に持って、正面にいる第三者と向き合っている。第1のカメラ11はレポータの姿を撮影し、第2のカメラ12は第三者の姿を撮影する。レポータは第1の表示部21に表示される画像を観察し、第三者は第2の表示部22に表示される画像を観察する。第1のカメラ11および第2のカメラ12で撮影された画像は、ネットワークを介して遠隔にいるクライアントの通信端末100に送信される。クライアントの通信端末100の表示部120には、第1のカメラ11で撮影されたレポータの画像と、第2のカメラ12で撮影された第三者の画像とが表示されている。このようにして、画像通信装置1を使うことにより、レポータ、クライアントおよび第三者との間で画像を通じたコミュニケーションを交わすことができる。
【0037】
本実施の形態によれば、自由度の高いコミュニケーションをレポータだけの操作により実現することができる。
【0038】
[第2の実施の形態]
図3は第1の実施の形態に係る画像通信装置2の機能ブロック図である。画像通信装置2は、第1のカメラ11と、第2のカメラ12と、第3のカメラ13と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、を備える。すなわち画像通信装置2は、
図1の画像通信装置1に対して、第3のカメラ13をさらに備える点で異なる。画像通信装置2のその他の構成は、画像通信装置1の構成と共通である。以下、画像通信装置2に関し、画像通信装置1と異なる部分に焦点を当てて説明し、共通する部分の重複する説明は省略する(以下同様)。
【0039】
第3のカメラ13はレポータの周囲を撮影するためのカメラであり、例えばレポータが携帯可能なハンドカメラで構成される。レポータは、第3のカメラを用いて任意の画像を撮影することができる。例えば第3のカメラは、旅行先の風景や、第三者と共通に興味を持った物(例えば、店に陳列された商品など)を撮影してもよい。
【0040】
第1の表示部21および第2の表示部22は、それぞれ独立に、第1のカメラ11、第2のカメラ12または第3のカメラ13で撮影された画像を表示する。通信部30は、第1のカメラ11、第2のカメラ12または第3のカメラ13で撮影された画像をクライアントの通信端末100に送信する。
【0041】
図4に、レポータが画像通信装置2の本体を左手に持ち、第3のカメラ13を右手に持つ様子を示す。図示されるように、画像通信装置2はシンプルかつポータブルな機器で構成されているため、レポータが1人で持ち運び操作することが可能である。
【0042】
図5に、画像通信装置2の第1の表示部21に表示された画像(a)、画像通信装置2の第2の表示部22に表示された画像(b)およびクライアントの通信端末100の表示部120に表示された画像(c)を示す。
図5(a)に示されるように、第1の表示部21には、第2のカメラ12で撮影された第三者の画像が全面に表示される。
図5(b)に示されるように、第2の表示部22には、第2のカメラ12で撮影された第三者の画像と、第3のカメラで撮影された風景の画像とが、約1:3の大きさの比率で、P in P(Picture in Picture)形式で表示される。
図5(c)に示されるように、クライアントの通信端末100の表示部120には、第1のカメラ11で撮影されたレポータの画像と、第2のカメラ12で撮影された第三者の画像と、第3のカメラで撮影された風景の画像とが、約2:1:1の大きさの比率で、P by P(Picture by Picture)形式で表示される。
【0043】
第1の表示部21、第2の表示部22、クライアントの通信端末100の表示部120のそれぞれに、どのような画像をどのような表示方法で表示するかの制御は、レポータが単独で操作することができる。
【0044】
本実施の形態によれば、レポータが任意の対象を撮影できる第3のカメラで撮影した画像を使うことができるので、より豊かなコミュニケーションを実現することができる。
【0045】
[第3の実施の形態]
図6は第3の実施の形態に係る画像通信装置3の機能ブロック図である。この実施の形態では、クライアントの通信端末100がカメラ130を備えている。カメラ130は、クライアント自身の画像や、クライアントの周囲の画像を撮影する。画像通信装置3は、第1のカメラ11と、第2のカメラ12と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、を備える。通信部30は、ネットワークを介して、クライアントの通信端末100のカメラ130で撮影された画像を受信し、受信した画像を第1の表示部21および第2の表示部22に表示させる。第1の表示部21、第2の表示部22およびクライアントの通信端末100の表示部120は、それぞれ独立に、第1のカメラ11、第2のカメラ12またはクライアントの通信端末100のカメラ130で撮影された画像を表示する。
【0046】
本実施の形態によれば、クライアントの通信端末100のカメラ130で撮影したクライアント側の画像を使うことができるので、さらに自由度の高いコミュニケーションを実現することができる。
【0047】
[第4の実施の形態]
図7は第4の実施の形態に係る画像通信装置4の機能ブロック図である。画像通信装置4は、第1のカメラ11と、第2のカメラ12と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、記憶部50と、を備える。すなわち画像通信装置2は、
図1の画像通信装置1に対して、記憶部50をさらに備える点で異なる。画像通信装置4のその他の構成は、画像通信装置1の構成と共通である。
【0048】
記憶部50は、予め用意された画像コンテンツを記憶する。こうした画像コンテンツは、オンラインツアーに関連する周辺情報や、参加者のプロフィールに関する情報を含むものなど、任意の画像コンテンツであってよい。第1の表示部21および第2の表示部22は、それぞれ独立に、第1のカメラ11で撮影された画像、第2のカメラ12で撮影された画像または記憶部50に記憶された画像コンテンツを表示する。通信部30は、第1のカメラ11で撮影された画像、第2のカメラ12で撮影された画像または記憶部50に記憶された画像コンテンツをクライアントの通信端末100に送信する。
【0049】
本実施の形態によれば、予め用意された画像コンテンツを使うことができるので、さらに自由度の高いコミュニケーションを実現することができる。
【0050】
[第5の実施の形態]
図8は第5の実施の形態に係る画像通信装置5の機能ブロック図である。画像通信装置5は、第1のカメラ11と、第2のカメラ12と、第3のカメラ13と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、記憶部50と、第1のカメラ11と対になった第1のマイク11Mと、第2のカメラ12と対になった第2のマイク12Mと、第3のカメラ13と対になった第3のマイク13Mと、スピーカ11Sと、を備える。すなわち画像通信装置5は、
図3の画像通信装置2に対して、第1のマイク11Mと、第2のマイク12Mと、第3のマイク13Mと、スピーカ11Sと、を備える点で異なる。画像通信装置5のその他の構成は、画像通信装置2の構成と共通である。
【0051】
第1のマイク11M、第2のマイク12Mおよび第3のマイク13Mは、指向性マイクで構成され、それぞれ、第1のカメラ11、第2のカメラ12とおよび第3のカメラ13の周辺の音を集音する。スピーカ11Sは、第1のマイク11M、第2のマイク12Mおよび第3のマイク13Mの各々によって集音された音を再生する。
【0052】
本実施の形態によれば、各マイクが、対応する各カメラの撮影方向からの音声を選択的に集音し再生することができるので、臨場感のあるコミュニケーションを実現することができる。
【0053】
この実施の形態において、制御部40は、第1のマイク11M、第2のマイク12Mおよび第3のマイク13Mの各々によって集音された音の再生をそれぞれ独立に制御してもよい。例えば、レポータが説明する場面では第1のマイク11Mが集音した音声を最も大きく再生し、第3のカメラ13で撮影された風景を主に表示する場面では第3のマイク13Mが集音した音声を最も大きく再生するといった具合である。
【0054】
本実施の形態によれば、各マイクが集音した音声を最適に制御して再生できるので、さらに臨場感のあるコミュニケーションを実現することができる。
【0055】
[第6の実施の形態]
図9は第6の実施の形態に係る画像通信装置6の機能ブロック図である。画像通信装置6は、第1のカメラ11と、第2のカメラ12と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、操作パネル60と、を備える。すなわち画像通信装置2は、
図1の画像通信装置1に対して、操作パネル60をさらに備える点で異なる。画像通信装置6のその他の構成は、画像通信装置1の構成と共通である。
【0056】
レポータ(操作者)は、制御部40の制御内容を操作するために操作パネル60を操作する。例えば操作パネル60は、第1の表示部21、第2の表示部22およびクライアントの通信端末100の表示部120への表示画像として、どの画像を表示するかをそれぞれ別々に選択したり、どのような表示方法(画像配置、拡大率・縮小率、解像度、カラーバランス等)で表示するかを決めたりするためのユーザインタフェースを提供する。
【0057】
本実施の形態によれば、操作者は、より便利で使い勝手よく制御部の制御内容を操作することができる。
【0058】
[第7の実施の形態]
図10は第7の実施の形態に係る画像通信装置7の機能ブロック図である。画像通信装置7は、第1のカメラ11と、第2のカメラ12と、第4のカメラ14と、第1の表示部21と、第2の表示部22と、第3の表示部23と、通信部30と、制御部40と、を備える。すなわち画像通信装置2は、
図1の画像通信装置1に対して、第4のカメラ14と、第3の表示部23と、をさらに備える点で異なる。画像通信装置7のその他の構成は、画像通信装置1の構成と共通である。
【0059】
第4のカメラ14は、レポータ(操作者)の側ともレポータの反対側とも異なる方向を撮影する。言い換えれば第4のカメラ14は、第1のカメラが撮影する方向とも前記第2のカメラが撮影する方向とも異なる方向を撮影する。例えば第4のカメラ14は、レポータの横方向、上方向あるいは下方向など、レポータの側およびレポータの反対側と異なる任意の方向を撮影してよい。第3の表示部23は、第4のカメラ14が撮影する方向を向く。第1の表示部21、第2の表示部22および第3の表示部23は、それぞれ独立に、第1のカメラ11、第2のカメラ12または第4のカメラ14で撮影された画像を表示する。通信部30は、第1のカメラ11、第2のカメラ12または第4のカメラ14で撮影された画像をクライアントの通信端末100に送信する。
【0060】
第1のカメラ11は、レポータの側(主にレポータ自身)を撮影する。第2のカメラ12は、レポータの反対側(主にレポータの目に映る姿)を撮影する。第4のカメラ14は、レポータの側ともレポータの反対側とも異なる方向、例えばレポータの横方向(主にレポータの横方向にいる人)を撮影する。第1の表示部21はレポータの側を向き、主にレポータによって観察される。第2の表示部22はレポータの反対側を向き、主にレポータに向かい合う人によって観察される。第3の表示部23は第4のカメラ14が撮影する方向を向き、主に第4のカメラ14が撮影する方向にいる人によって観察される。従って第4のカメラ14と第3の表示部23があることにより、レポータに向かい合う第三者に加えて、当該第三者とは異なる方向にいる第三者もコミュニケーションに参加することができる。
【0061】
本実施の形態によれば、より多くの人がコミュニケーションに参加できるので、コミュニケーションの自由度をさらに向上することができる。
【0062】
[第8の実施の形態]
図11は第8の実施の形態に係る画像通信装置8の機能ブロック図である。画像通信装置8は、第1のカメラ11と、第2のカメラ12と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、3D画像化部70と、を備える。すなわち画像通信装置2は、
図1の画像通信装置1に対して、3D画像化部70をさらに備える点で異なる。画像通信装置6のその他の構成は、画像通信装置1の構成と共通である。
【0063】
3D画像化部70は、第1のカメラ11および第2のカメラ12で撮影された画像を3D画像化する。第1の表示部21および第2の表示部22には、3D画像化部70によって3D画像化された画像が表示される。
【0064】
本実施の形態によれば、3D画像化された画像を使うことができるので、より視覚的効果の高いコミュニケーションを実現することができる。
【0065】
[第9の実施の形態]
図12は第9の実施の形態に係る画像通信装置9の機能ブロック図である。画像通信装置9は、第1のカメラ11と、第2のカメラ12と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、AR画像生成部80と、を備える。すなわち画像通信装置2は、
図1の画像通信装置1に対して、AR画像生成部80をさらに備える点で異なる。画像通信装置6のその他の構成は、画像通信装置1の構成と共通である。
【0066】
AR画像生成部80は、第1の表示部21および第2の表示部22に表示させるためのAR(Augmented Reality:拡張現実)画像を生成する。
AR画像は、オンラインツアーに関連する付加的な情報や、オンラインツアーをより効果的に見せる情報を含むものなど、任意のAR画像であってよい。第1の表示部21および第2の表示部22には、第1のカメラ11および第2のカメラ12で撮影された画像に加えて、AR画像生成部80によって生成されたAR画像が表示される。
【0067】
本実施の形態によれば、生成したAR画像を表示させることができるので、さらに視覚的効果の高いコミュニケーションを実現することができる。
【0068】
[第10の実施の形態]
図13は第10の実施の形態に係る画像通信装置10の機能ブロック図である。画像通信装置10は、第1のカメラ11と、第2のカメラ12と、第3のカメラ13と、第1の表示部21と、第2の表示部22と、通信部30と、制御部40と、記憶部50と、第1のカメラ11と対になった第1のマイク11Mと、第2のカメラ12と対になった第2のマイク12Mと、第3のカメラ13と対になった第3のマイク13Mと、スピーカ11Sと、無指向性マイク90と、を備える。すなわち画像通信装置10は、
図8の画像通信装置5に対して、無指向性マイク90をさらに備える点で異なる。画像通信装置10のその他の構成は、画像通信装置5の構成と共通である。
【0069】
無指向性マイク90は、レポータの周辺全体の音を集音する。これにより、第1のマイク11M、第2のマイク12Mおよび第3のマイク13Mが対応する各カメラの撮影方向から選択的に集音した音声に加えて、例えば背景音としての周辺全体の音が集音される。スピーカ11Sは、第1のマイク11M、第2のマイク12Mおよび第3のマイク13Mの各々によって集音された音、並びに無指向性マイク90によって集音された音を再生する。
【0070】
本実施の形態によれば、各カメラの撮影方向からの音声に加えて、周辺全体の音も集音して再生することができるので、聴覚的により臨場感のあるコミュニケーションを実現することができる。
【0071】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0072】
1…画像通信装置。
2…画像通信装置。
3…画像通信装置。
4…画像通信装置。
5…画像通信装置。
6…画像通信装置。
7…画像通信装置。
8…画像通信装置。
9…画像通信装置。
10…画像通信装置。
11…第1のカメラ。
12…第2のカメラ。
13…第3のカメラ。
14…第4のカメラ。
11M…第1のマイク。
12M…第2のマイク。
13M…第3のマイク。
11S…スピーカ。
21…第1の表示部。
22…第2の表示部。
23…第3の表示部。
30…通信部。
40…制御部。
50…記憶部。
60…操作パネル。
70…3D画像化部。
80…AR画像生成部。
90…無指向性マイク。
100…クライアントの通信端末。
120…クライアントの通信端末の表示部。
130…クライアントの通信端末のカメラ。