(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-06
(45)【発行日】2022-07-14
(54)【発明の名称】画像通信装置及び画像通信方法
(51)【国際特許分類】
H04N 7/14 20060101AFI20220707BHJP
【FI】
H04N7/14 120
(21)【出願番号】P 2018126004
(22)【出願日】2018-07-02
【審査請求日】2021-05-17
(73)【特許権者】
【識別番号】598033848
【氏名又は名称】株式会社アスカネット
(74)【代理人】
【識別番号】100090697
【氏名又は名称】中前 富士男
(74)【代理人】
【識別番号】100176142
【氏名又は名称】清井 洋平
(74)【代理人】
【識別番号】100127155
【氏名又は名称】来田 義弘
(72)【発明者】
【氏名】大西 康弘
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開平04-096581(JP,A)
【文献】特許第6336223(JP,B1)
【文献】特開2010-087907(JP,A)
【文献】特開平08-079721(JP,A)
【文献】特開2016-143998(JP,A)
【文献】米国特許出願公開第2013/0155176(US,A1)
【文献】特開平09-168141(JP,A)
【文献】特開平04-150683(JP,A)
【文献】特開平11-122592(JP,A)
【文献】特開平05-064183(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 - 7/173
H04N 7/20 - 7/56
H04N 21/00 - 21/858
(57)【特許請求の範囲】
【請求項1】
画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられることを特徴とする画像通信装置。
【請求項2】
請求項1記載の画像通信装置において、前記光学結像手段の中央部に、前記撮像手段が装着される取付孔が形成されていることを特徴とする画像通信装置。
【請求項3】
請求項1又は2記載の画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されていることを特徴とする画像通信装置。
【請求項4】
請求項1~3のいずれか1記載の画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることを特徴とする画像通信装置。
【請求項5】
請求項4に記載の画像通信装置において、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転していることを特徴とする画像通信装置。
【請求項6】
請求項4又は5記載の画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することを特徴とする画像通信装置。
【請求項7】
表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられて、前記自由空間の実像と対話する人物を正面から撮像することを特徴とする画像通信方法。
【請求項8】
請求項7記載の画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることを特徴とする画像通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の地点間で画像(実像)を介して、リアルタイムで遠隔会議(テレビ会議)やビデオチャット等を行うことができる画像通信装置及び画像通信方法に関する。
【背景技術】
【0002】
従来、遠隔地に存在する人物(通信者)同士が、画像(映像)を通して会話を行うための技術として、テレビ会議システムやテレビ電話システム等が知られている。これらのシステムは、各地点で双方向的に、ビデオカメラ等により各人物の顔を含めた画像を撮影し、それを遠隔地点に伝送して表示手段(表示装置、ディスプレイ)上に表示することにより、遠隔地点間での会話を可能としている。このような遠隔地との双方向通信システムは、近年のブロードバンドに代表される通信回線容量の増大及び制御装置の高性能化と共に急速に進歩しており、高画質のカラー画像を音声と共にリアルタイムで双方向通信することが可能で、特に、ビジネス分野での使用は、一般的になりつつある。
【0003】
しかし、従来のこれらのシステムでは、例えば、特許文献1のように、表示装置の上方にビデオカメラやウェブカメラ等の撮像装置が設置された構成が採用されており、会話中の通信者を上方から見下ろして撮像している。一方、通信者は、撮像装置ではなく、主に表示装置に表示される通信相手の画像を見ながら会話を行う。従って、撮像装置による撮像方向と、通信者の視線の方向(目線)が異なっており、表示装置には視線が下方を向いた状態で通信相手の画像が映し出されることになる。この結果、通信者同士は視線を合わせることができず、会話に違和感を生じ易く、意思疎通が図りづらくなり、臨場感や緊張感に欠けるという問題点があった。
【0004】
この問題点を解決するものとして、例えば、特許文献2では、撮像装置が設置されている高さ及び高さ検知部が検知した目の高さが異なるとき、三次元映像生成部により、双方の差及び撮像装置とユーザ(通信者)との間の距離に基づいて、高さ検知部が検知した目の高さにある仮想的な視点から見たときのユーザの三次元映像を取得するためのレンダリング処理を実行する映像表示システムが提案されている。
また、特許文献3には、相手方の画像を表示する表示装置と使用者の画像を撮像するカメラをそれぞれ有するテレビ会議システムが提案されている。このテレビ会議システムでは
図7に示すように、反射型結像素子(光学結像手段の一例)80を用いて、表示装置81に表示された相手方の映像を空間内に空中映像82として形成し、この空中映像82を観察する使用者83を反射型結像素子80の上に設けたカメラ84によって撮像し、撮像した画像をその音声と共に、通信手段を用いて、相手方のテレビ会議システムに送っている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2006-93883号公報
【文献】特開2016-192688号公報
【文献】国際公開第2011/108139号
【文献】特開平5-161135号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献2において、動作を交えて会話する通信者同士の目の高さを確実に合わせるためには、常に通信者の映像を抽出しながら、高さ検知部で通信者の目の高さを検知し、通信者の目の高さや撮像装置と通信者との間の距離が変化する度に、三次元映像生成部によって三次元映像を作成して、表示画面の映像を切り替えなければならない。これらの制御は複雑で、処理にも時間を要するため、実際の通信者の動きと表示装置に表示される映像を一致させることは困難であり、その時間差によって違和感を生じる可能性がある。また、通信者同士の目の高さを仮想的に一致させているに過ぎないため、通信者の目の上下左右の動きには対応することができず、通信者同士の視線を完全に一致させることはできない。よって、例えば、表示装置に、通信者と共に写真や文書等の資料画像(共通画像)が表示されている場合に、一方の通信者が資料画像に視線を移しても、他方の通信者は相手がどこを見ているのか判断がつかず、即座に会話に反応することができない。つまり、現実に対面して会話を行うように、視線を送ったり、目配せをしたりして、アイコンタクトを取ることができないため、十分な意思疎通を図ることが難しく、スムーズな会話が成り立たないという問題があった。
【0007】
特許文献3の実施の形態に記載されたテレビ会議システムは、ハーフミラーや偏光ビームスプリッタ等の光学素子を使用せず、
図7に示すように、カメラ84で使用者83を直接撮影することを前提としたもので、使用者83を撮影するカメラ84を、空中映像82よりも使用者83から遠い位置に配置することにより、使用者83の視線方向とカメラ84の撮影方向とのズレ角θを、視線の不一致を実質的に感じない程度にまで小さくしようとするものである。このため、使用者83から空中映像82までの距離、及び使用者からカメラ84までの距離を適正に管理しなければならない。つまり、使用者83の視線方向とカメラ84の撮影方向とのズレ角θを、視線の不一致を実質的に感じない程度にまで小さくするためには、使用者83からカメラ84までの距離を長くする必要があるが、それに伴って、使用者83から空中映像82までの距離が長くなり過ぎると、使用者83の指が空中映像82に届かず、空中映像82を指し示すことや、タッチ入力を行うことが困難になるという問題があった。そして、空中映像82に指等で触れるために使用者83が空中映像82に近づき過ぎると、カメラ84までの距離も近くなり、使用者83の視線方向とカメラ84の撮影方向とのズレ角θが大きくなって通信相手と視線が合わなくなることや、場合によっては使用者83の顔をカメラ84で鮮明に捉えることができなくなることもあり、汎用性、操作性に欠けるという問題があった。また、使用者83から空中映像82までの距離を変えずに、使用者83からカメラ84までの距離のみを長くするために、空中映像82の形成部の位置を動かさずにカメラ84のみを使用者83から遠ざけた場合、装置の奥行き方向寸法が増大して広い設置スペースが必要になるため、コンパクト性、設置自在性に欠けるという問題もあった。
【0008】
更に、特許文献3には従来技術として、ハーフミラーを用いたテレビ会議システムが提案されている。このテレビ会議システムの一例を
図8(A)に示すが、表示装置86に表示された相手方の画像を45度に傾斜配置されたハーフミラー87を通して観察し、このハーフミラー87を介して使用者88の画像をカメラ89で撮像し、相手方のテレビ会議システムに送っている。そして、特許文献3には、ハーフミラー87等の光学素子は、一般に波長依存性があるので、カメラ89で撮影した映像は色合いが不自然になり、相手方に表示される映像の画質が低いという課題があると記載されている。
【0009】
そこで、本発明者がハーフミラー87を使用した場合の問題を鋭意研究した結果を以下に説明する。
図8(B)にハーフミラー87の部分断面を示すが、厚みを有する透明な板材90の裏面にハーフミラー87を形成する金属層による光透過率が40~60%の反射面91が形成されている。表示装置86からの光D1は、D2に示すように、板材90に進入し、D3に示すように、使用者側に出光する。更に、D4に示すように、板材90の表面裏側で繰り返し反射して使用者88に届く光もある。一方、別照明された使用者88からの光E1は、E2に示すように反射面91によってカメラ側に反射するが、その一部は光E3となって、板材90内に進入し、板材90の表面側からF1として出光する他、板材90の表面裏側で反射してE4、E5となってカメラ89に届くもの、更に、E6に示すように、繰り返し反射してカメラ89に届くものもある。従って、像が多重に撮影され、鮮明な映像が得られないという問題がある。以上の問題はハーフミラー87の厚みが厚い場合に顕著に発生する問題である。このような問題は、例えば、特許文献4においても同様で、厚みを有するハーフミラーを傾斜して使用すれば、共通に発生する問題である。なお、F1、F2は板材90から外部に出る不要光を示す。
【0010】
本発明はかかる事情に鑑みてなされたもので、複雑な制御や特別な画像処理等を行う必要がなく、ハーフミラーを使用しない簡素な構成で遠隔の人物同士が正対して視線を合わせることができ、アイコンタクトやジェスチャーによる意思疎通を図って会話をスムーズに行うことが可能で、操作性、コンパクト性に優れる画像通信装置及び画像通信方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
前記目的に沿う第1の発明に係る画像通信装置は、画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられる。
ここで、光学結像手段の出光側中央部は、自由空間の実像(対話相手)と対話する人物を正面から撮像することができ、その人物の視線方向と撮像手段の撮影方向との間に大きなずれを発生させず、人物と対話相手の視線が合う範囲であればよい。特に、画像通信装置を使用する人物の目の位置(高さ)に合わせて撮像手段を設置することが好ましい。なお、この画像通信装置を用いて、テレビ会議を行うには、使用者側の画像通信装置Aの他、相手方の画像通信装置Bが必要である。画像通信装置Bは、画像通信装置Aと同一構成である必要はなく、相手方を撮像するカメラと、使用者側のカメラで撮像した使用者の画像データを表示する表示装置があれば十分である。
【0012】
第1の発明に係る画像通信装置において、前記光学結像手段の中央部に、前記撮像手段が装着される取付孔が形成されていることが好ましい。
第1の発明に係る画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されていることが好ましい。
第1の発明に係る画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることが好ましい。この場合、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転していることが好ましい。
また、第1の発明に係る画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することもできる。
【0013】
第2の発明に係る画像通信方法は、表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられて、前記自由空間の実像と対話する人物を正面から撮像する。
【0014】
第2の発明に係る画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることが好ましい。
【発明の効果】
【0015】
第1の発明に係る画像通信装置及び第2の発明に係る画像通信方法は、表示手段に表示される対話相手の画像を光学結像手段によって自由空間に実像として結像させることができるので、実像と対話する人物は、対話相手が目の前に存在しているような感覚で会話をすることができる。このとき、撮像手段が光学結像手段の出光側中央部に取付けられることにより、光学結像手段と撮像手段が一体化されているので、別途、撮像手段を位置決めして設置する作業や撮像手段を保持する手段を必要とすることなく、実用性に優れる。また、ハーフミラーを必要とせず、撮像手段で人物を正面から直接撮像して、撮像した画像の画像信号を対話相手に送ることができるので、極めて簡素な構成で対話相手と人物が視線を合わせてリアルタイムで会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることができる。さらに、撮像手段で人物を撮像する際に、常に正面から直接撮像することができ、人物と実像との距離が変化しても、人物の視線方向と撮像手段による撮像方向は変化せず一定に保たれ、画像が鮮明で、操作性に優れる。
【0016】
第1の発明に係る画像通信装置において、光学結像手段の中央部に、撮像手段が装着される取付孔が形成されている場合、光学結像手段への撮像手段の取付けを容易に行うことができ、組立作業性及び取り扱い性に優れる。
【0017】
第1の発明に係る画像通信装置において、光学結像手段が、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されている場合、結像する実像の角度を表示手段に対して傾斜させることができ、特に、表示手段の配置(設置角度)に応じて、実像が鉛直面となるように、光学結像手段の傾斜角度を選択すれば、人物は対話相手の画像(実像)と正対することができ、画像の歪みも少なく、視認性を向上させることができる。
【0018】
第1の発明に係る画像通信装置及び第2の発明に係る画像通信方法において、対話相手の画像と共通画像を合成して表示手段に表示させると共に、対話相手に送る画像信号にも共通画像の共通画像信号を重畳させた場合、対話相手と人物は同時に共通画像を見ながらスムーズに会話をすることができる。また、対話相手側では、受けた画像信号と共通画像信号をそのまま表示手段に表示させることができ、特別な画像処理手段や画像処理工程が不要で、汎用の携帯端末やパーソナルコンピュータ等を使用して相手の人物と手軽に通信(対話)を行うことができる。ここで、人物の画像を左右反転して対話相手に送った場合、画像信号を受ける側では、画像処理等を行うことなく、汎用の携帯端末やパーソナルコンピュータ等の画面(ディスプレイ)に、そのまま画像を表示させることができる。
【0019】
第1の発明に係る画像通信装置において、人物の動作(ジェスチャー)を検知して、検知した動作に基づいて共通画像を操作する場合、表示手段に表示される共通画像の拡大、縮小、移動、回転等の各種操作を直感的かつ簡単に行うことができ、操作性に優れる。
【図面の簡単な説明】
【0020】
【
図1】本発明の第1の実施の形態に係る画像通信装置の構成を示す説明図である。
【
図2】同画像通信装置の構成を示すブロック図である。
【
図3】同画像通信装置の使用状態を示す説明図である。
【
図4】(A)、(B)はそれぞれ同画像通信装置における光学結像手段の正断面図、側断面図である。
【
図5】本発明の第2の実施の形態に係る画像通信装置の構成を示す説明図である。
【
図6】本発明の第3の実施の形態に係る画像通信装置の構成を示す説明図である。
【
図7】従来例に係るテレビ会議システムの説明である。
【
図8】(A)、(B)はそれぞれ従来例に係るハーフミラーの動作説明図である。
【発明を実施するための形態】
【0021】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1に示すように、本発明の第1の実施の形態に係る画像通信装置10a、10bは各地点に配置され、各地点に存在する人物A、Bが、画像通信装置10a、10bにより、画像を介して会話を行うものである。
図1、
図2に示すように、各画像通信装置10a、10bは、表示面14が上向きで水平に配置された表示手段15と、表示手段15の上方に表示手段15の表示面14に対して45度の傾斜角度で出光側を斜め上向きに傾斜配置された平面状の光学結像手段16と、光学結像手段16の出光側中央部に取付けられた撮像手段18とを有している。表示手段15としては、高輝度モニターが好適に用いられ、撮像手段18としては、ウェブカメラ等の小型のビデオカメラが好適に用いられる。このとき、光学結像手段16の中央部に、撮像手段18が装着される取付孔19が形成されていることにより、光学結像手段16に撮像手段18を簡単に取付けて一体化することができる。また、各画像通信装置10a、10bは、画像信号を送受信し、対話相手から受信した画像信号に基づいて表示手段15に画像を表示する画像信号出力手段20を有している。この画像信号出力手段20としては、RAM、CPU、ROM、I/O、及びこれらの要素を接続するバスを備えた従来公知の演算器(即ち、コンピュータ)が好適に用いられる。そして、CPUが所定のプログラムを実行することにより、画像信号出力手段20での処理が実現される。なお、画像信号出力手段20には、スピーカー21とマイク22が接続されており、音声信号を送受信することにより会話を行うことができる。
光学結像手段16は、表示手段15に表示される画像を光学結像手段16の前面側の自由空間内(実体のない結像面23上)に実像として結像させるものである。この光学結像手段16の詳細については、後述する。
【0022】
以下、複数の地点の中で、人物Aと人物Bが通信を行う場合について説明する。
まず、画像通信装置10aは、光学結像手段16の前方にいる人物Aを撮像手段18で撮像する。そして、画像信号出力手段20は、撮像した画像の画像信号を通信ネットワーク24を介して接続される画像通信装置10bの画像信号出力手段20に送信すると共に、画像通信装置10bの撮像手段18で撮像された人物B(人物Aの対話相手)の画像の画像信号を受信して表示手段15に表示することができる。
同様に、画像通信装置10bは、光学結像手段16の前方にいる人物Bを撮像手段18で撮像する。そして、画像信号出力手段20は、撮像した画像の画像信号を通信ネットワーク24を介して接続される画像通信装置10aの画像信号出力手段20に送信すると共に、画像通信装置10aの撮像手段18で撮像された人物A(人物Bの対話相手)の画像の画像信号を受信して表示手段15に表示することができる。
なお、各撮像手段18からは、結像面23に形成される画像(実像)は見えず、それぞれ人物A、Bを正面から直接撮像して鮮明な画像を得ることができる。また、各光学結像手段16に形成される取付孔19は、小さく、各撮像手段18が装着されることにより塞がれるので、各取付孔19を光が通過することはなく、人物A、Bが見ている結像面23上の画像には影響を与えない。
【0023】
画像通信装置10a、10bの表示手段15に表示される画像は、前述のように、光学結像手段16によって、自由空間に実像として結像する(画像の光が光学結像手段16を通過して結像する)ので、
図3に示すように、画像通信装置10a側(
図3では左側)の人物Aの正面には、対話相手となる人物Bの画像(実像)25が表示され、画像通信装置10b側(
図3では右側)の人物Bの正面には、対話相手となる人物Aの画像(実像)26が表示される。
このとき、
図1に示したように、表示手段15の表示面14が水平に配置され、光学結像手段16の出光側が表示手段15の上方に45度の傾斜角度で斜め上向きに配置されていることにより、結像面23は鉛直面となる。また、光学結像手段16の取付孔19に装着された撮像手段18の撮像方向は水平方向であり、光学結像手段16の表面に対しては45度傾斜しており、結像面23とは垂直である。よって、結像面23上の画像25、26とそれぞれ正対して対話する人物A、Bを撮像手段18で正面から直接撮像することができ、各表示手段15に表示され、光学結像手段16によって結像する人物Bの画像25及び人物Aの画像26には違和感が少なく、視線の方向も確認し易くなる。
【0024】
各画像信号出力手段20は、
図2に示すように、共通画像作成手段27を有しており、各表示手段15に共通して表示される共通画像28を作成することができる。必要に応じて、人物Bの画像25及び人物Aの画像26に共通画像28を合成して各表示手段15に表示させることにより、
図3に示すように、各結像面23において人物Bの画像25及び人物Aの画像26に対して同じ位置に同じ向きで共通画像28を重ねて表示することができる。なお、共通画像28は、主に写真や文書等の資料画像であり、共通画像作成手段27には、例えば、カメラ、キーボード、タッチペン、スキャナー等の入力機器の他に、画像信号出力手段20で実行されるプログラムも含まれる。また、共通画像作成手段27による共通画像28の作成とは、例えば、カメラで撮影した写真、キーボードやタッチペン等から入力した文書やイラスト等を画像信号出力手段20のRAM等に保存すること、写真や文書等をスキャナーで画像として取込んで画像信号出力手段20のRAM等に保存すること、画像に対する各種加工だけでなく、予め作成されUSBメモリ等の記憶媒体に保存された写真や文書等のデータの選択や読込み(コピー)等が含まれる。
【0025】
なお、共通画像28の作成、人物Aの画像26及び人物Bの画像25と共通画像28との合成は、いずれか一方の共通画像作成手段27によって選択的に行われる。例えば、画像通信装置10b側の人物Bが、共通画像28として表示したい画像を共通画像作成手段27で作成(選択)すると、画像信号出力手段20で受信した人物Aの画像26と共通画像28が合成されて画像通信装置10b側の表示手段15に表示されると共に、対話相手(人物A側)に送る画像信号にも共通画像28の共通画像信号が重畳されることにより、画像通信装置10a側の表示手段15に、人物Bの画像25と共通画像28が合成されて表示される。このとき、人物A及び人物Bと共通画像28との位置関係を整合させるために、必要に応じて、人物Aの画像26及び人物Bの画像25を左右反転させる。なお、この場合、各画像信号出力手段20(送信側)で、予め人物Aの画像26及び人物Bの画像25を左右反転させて、その画像信号を相手側の画像信号出力手段20に送信してもよいし、人物Aの画像26及び人物Bの画像25の画像信号を各画像信号出力手段20から相手側の画像信号出力手段20に送信した後、相手側(受け側)の画像信号出力手段20で反転させてもよい。
【0026】
図3に示すように、それぞれの結像面23上の同一位置に共通画像28が表示されると、人物A、Bは、あたかも共通画像28を挟んで対面するようにして、視線を合わせて会話することができ、互いの動作を正面から観察することができる。そして、それぞれの結像面23上の共通画像28に対して人物A、Bが行う動作を、対話相手の結像面23上に表示される共通画像28の位置や向きと一致させて表示させることにより、互いに対話相手の視線の動きや身振り手振りを目で追って、共通画像28の確認等を確実に行うことが可能となる。例えば、
図3に示すように、人物Aは、人物Bが共通画像28のどこを指差しているのか、結像面23上で容易に確認することができ、アイコンタクトを取りながら、スムーズに会話することができる。更に、人物A、Bは、結像面23上の同じ位置を双方から指差すことができ、その様子を互いに結像面23上で確認することができるので、身振り手振りも交えながら意思疎通を図ることができる。共通画像28は小窓のように表示され、共通画像28の数、大きさ、配置は、適宜、選択することができる。
【0027】
また、各画像通信装置10a、10bは、
図1、
図2に示すように、各地点(自地点)の人物A又はBの動作を検知する検知手段29を有している。そして、画像信号出力手段20は、検知手段29で検知した動作に基づいて共通画像28を操作(処理)して、表示手段15に表示することができる。例えば、人物Aが共通画像28を拡大する動作を行った場合、画像通信装置10a側の検知手段29が、その動作を検知し、画像通信装置10a側の画像信号出力手段20が共通画像28を拡大する操作(処理)を行う。そして、拡大された共通画像28が、画像通信装置10a側の表示手段15に表示されると共に、その共通画像信号が人物Aの画像26の画像信号に重畳されて、画像通信装置10a側の画像信号出力手段20から画像通信装置10b側の画像信号出力手段20に送られ、画像通信装置10b側の表示手段15に表示される。これにより、各地点の人物A、Bは同じように拡大された共通画像28を見ながら会話を進めることができる。
特に、画像(実像)25、26に焦点を合わせ、結像面23上での人物A又はBの手や指の位置及び動作を検知する検知手段29は、動作の検知性能に優れるので、画像信号出力手段20によって共通画像28の大きさや位置等を調整して表示手段15に表示させることができ、操作性に優れる。このような検知手段29として、赤外線モーションセンサー等が好適に用いられる。なお、画像信号出力手段20での処理は、CPUが所定のプログラムを実行することで実現されるが、手や指の動作と、画像操作指令が予め対応付けられており、共通画像28の拡大、縮小、移動、回転等の操作(処理)を行うことができる。これにより、共通画像28を利用して円滑に会話を進めることができる。
【0028】
次に、光学結像手段16について説明する。
図4(A)、(B)に示すように、光学結像手段16は、複数の光反射面30を有する第1の光制御部31と、複数の光反射面32を有する第2の光制御部33からなり、それぞれの光反射面30、32が平面視して直交するように第1、第2の光制御部31、33が、厚さ方向に重ね合わされて配置(一体化)されたものである。
第1の光制御部31は、第1の透明板材34の一側に、傾斜面35と垂直面36とを有する断面三角形の複数の溝37、及び隣り合う溝37の間に形成される断面三角形の複数の凸条38がそれぞれ所定ピッチで配置されたものであり、それぞれの溝37の垂直面36のみに鏡面(金属反射面)からなる光反射面30が形成されている。なお、溝37の底部(傾斜面35の下端と垂直面36の下端との間)、及び凸条38の頂部(傾斜面35の上端と垂直面36の上端との間)には、それぞれ微小平面部39、40が形成されている。
【0029】
また、第2の光制御部33は、第2の透明板材41の他側に、傾斜面42と垂直面43とを有する断面三角形の複数の溝44、及び隣り合う溝44の間に形成される断面三角形の複数の凸条45がそれぞれ所定ピッチで配置されたものであり、それぞれの溝44の垂直面43のみに鏡面(金属反射面)からなる光反射面32が形成されている。なお、溝44の底部(傾斜面42の下端と垂直面43の下端との間)、及び凸条45の頂部(傾斜面42の上端と垂直面43の上端との間)には、それぞれ微小平面部46、47が形成されている。
【0030】
そして、向かい合わせに配置された溝37、44には透明樹脂48が充填されている。
なお、第1、第2の透明板材34、41の屈折率η1、η2は同一で、その間に充填される透明樹脂48の屈折率η3は、第1、第2の透明板材34、41の屈折率η1、η2の0.8~1.2倍(より好ましくは、0.9~1.1倍、更に好ましくは、0.95~1.05倍)の範囲にあることが好ましい。
第1、第2の透明板材34、41の原料となる透明樹脂としては、シクロオレフィンポリマー、ポリメチルメタルクレート(アクリル系樹脂)、非晶質フッ素樹脂、PMMA、光学用ポリカーボネイト、フルオレン系ポリエステル、ポリエーテルスルホン等の熱可塑性樹脂を使用することができるが、特に融点、透明度の高いものが好適に用いられる。
【0031】
鏡面(金属反射面)を形成する方法としては、溝37、44の垂直面36、43に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射、金属ペーストの塗布等を行うものが好適に用いられるが、スパッタリングや金属蒸着等で反射膜を形成した樹脂フィルムを溝37、44の垂直面36、43に貼り付けてもよい。なお、溝37、44の垂直面36、43に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射等を行う場合は、真空中又は低圧下で、斜め上方から垂直面36、43に向けて金属粒子を照射する。このとき、溝37、44の底部にそれぞれ微小平面部39、46が形成されているので、傾斜面35、42に金属粒子が付着することを減らし又は無くしながら、垂直面36、43の下端まで斑なく金属粒子を照射することができる。なお、溝37、44の傾斜面35、42は平面状に形成する代わりに、凸条38、45の内側に窪む断面多角形状の多角面や断面円弧状の凹面、或いは表面に多数の微小な凹凸(疵)を有する凹凸面として、金属粒子の付着を防止してもよい。
【0032】
溝37、44に透明樹脂48を充填して第1、第2の光制御部31、33を一体化する方法としては、第1の光制御部31の一側と、第2の光制御部33の他側、つまり、それぞれの溝37、44が形成された側の面が対向するように向かい合わせに配置された状態で、その間に、第1、第2の透明板材34、41より融点が低いシート状の透明樹脂を挟み込み、真空状態で加熱、押圧して、透明樹脂のみを溶解し、固化させてもよいし、それぞれの溝37、44に別々に透明樹脂からなる透明接着剤を充填し、第1、第2の光制御部31、33の溝37、44を向かい合わせ、突き合わせて、透明接着剤を硬化させてもよい。透明接着剤としては、紫外線等を照射することにより硬化する光硬化型の他、熱硬化型や二液混合型の接着剤を用いることができる。特に、屈折率η3を屈折率η1、η2に近づけるために、屈折率を調整した屈折率調整樹脂からなる光学用接着剤等が好適に用いられる。
なお、各溝の傾斜面が多角面、凹面、凹凸面等である場合、アンカー効果によって、傾斜面と、溝に充填される透明樹脂との密着性を高め、溝内を透明樹脂で隙間なく埋めて凹凸を解消することができる。その結果、傾斜面と透明樹脂との界面で乱反射(散乱)を発生させることなく光を通過させることができ、屈折も最小限に抑えて、明るく鮮明な立体像を得ることができる。
【0033】
次に、光学結像手段16の動作を説明する。
図1において、表示手段15に画像が表示されると、その光が光学結像手段16に向かって放射される。
図4(A)、(B)に示すように、光L1がP1の位置で光学結像手段16の第2の光制御部33に入光した場合、その光L1は、光反射面32上のP2の位置で反射し、第1の光制御部31に進入する。そして、光反射面30のP3の位置で反射した後、P4の位置で第1の光制御部31から空中に出て行き結像する。ここで、
図4(A)のQ1で第2の透明板材41から透明樹脂48に、Q2で透明樹脂48から第1の透明板材34に入光するが、第1、第2の透明板材34、41の屈折率η1、η2が同一で、透明樹脂48の屈折率η3と近似する(略同等である)ので、全反射や分光等の現象は起こらない。また、
図4(B)のS1で第2の透明板材41から透明樹脂48に、S2で透明樹脂48から第1の透明板材34に入光するが、第1、第2の透明板材34、41の屈折率η1、η2が同一で、透明樹脂48の屈折率η3と近似する(略同等である)ので、全反射や分光等の現象は起こらない。
なお、P1、P4の位置でも屈折を起こすが、P1、P4の屈折は相殺する。また、光反射面30、32は表裏(
図4(A)、(B)では左右)いずれ側の面も光反射面として機能させることができる。
【0034】
なお、第1、第2の光制御部31、33が形成される過程において、垂直面36、43の頂部に形成される微小平面部40、47には金属反射膜が形成される。この金属反射膜が形成されると、光学結像手段16の中に微小な光反射面が存在することになり、光学結像手段の結像性が悪くなる。そこで、微小平面部40、47に形成された金属反射膜は除去、又は金属反射膜の表面及び裏面を黒色(光線吸収色の一例)に着色して、光反射面を形成しないようにするのが好ましい。
【0035】
次に、本発明の第1の実施の形態に係る画像通信装置10a、10bを用いた画像通信方法について説明する。
当該画像通信方法は、
図1~
図3に示したように、各地点に配置された画像通信装置10a、10bを用いて、各地点に存在する人物A、Bが、画像を介して会話を行うものである。即ち、人物A側では画像通信装置10aを用いて、表示手段15に表示された対話相手(人物B)の画像を平面状の光学結像手段16によって、自由空間の結像面23に実像として結像させると共に、自由空間の実像と対話する人物Aを光学結像手段16の出光側中央部に取付けられた撮像手段18によって撮像し、撮像した画像の画像信号を対話相手(人物B)側の画像通信装置10bに送る。同様に、人物B側では画像通信装置10bを用いて、画像通信装置10aから送られる対話相手(人物A)の画像を表示手段15に表示し、表示された画像を平面状の光学結像手段16によって、自由空間の結像面23に実像として結像させると共に、自由空間の実像と対話する人物Bを光学結像手段16の出光側中央部に取付けられた撮像手段18によって撮像し、撮像した画像の画像信号を対話相手(人物A)側の画像通信装置10aに送る。このように、人物Bの画像25及び人物Aの画像26を相互に送受信して、その実像と各人物A、Bが対話することにより、対話相手が目の前に存在しているような感覚で視線を合わせて会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることが可能となる。
なお、
図1において、表示手段15、撮像手段18、スピーカー21、マイク22、検知手段29と画像信号出力手段20との間は、それぞれ信号ケーブル等の必要なケーブル50~54で接続されているが、無線で接続可能な場合はケーブルを省略することができる。
【0036】
本実施の形態では、
図1に示したように、表示面14が上向きで水平に配置された表示手段15に対し、表示面14の上方に、出光側が斜め上向きとなるように光学結像手段16を傾斜配置したが、表示手段15、光学結像手段16、撮像手段18、検知手段29の位置関係を上下反転(180度回転)させて、光学結像手段16を出光側が斜め下向きとなるように配置してもよい。また、上記構成の位置関係を撮像手段18の軸心を中心に90度回転(回転方向は右回りでも左回りでも可)させて表示手段の表示面を鉛直方向に配置し、表示手段の側方に光学結像手段を出光側が斜め横向きとなるようにして配置することもできる。
【0037】
続いて、
図5を参照して、本発明の第2の実施の形態に係る画像通信装置55a、55bについて説明する。なお、第1の実施の形態と同様のものには同じ符号を付して説明を省略する。
この画像通信装置55a、55bが、第1の実施の形態と異なる点は、表示手段15及び検知手段29が、上下反転して配置され、光学結像手段16aが、表示手段15の下方に表示手段15の表示面14に対して45度の傾斜角度で出光側を斜め下向きにして傾斜配置されており、光学結像手段16aの出光側中央部に取付孔が形成されることなく、その表面(出光側)に撮像手段18aが取付けられている点であり、その動作及び得られる作用、効果は第1の実施の形態と同様である。このとき、撮像手段18aに接続されるケーブル51は、そのまま下方に垂らすことや、光学結像手段16aの表面や外側面に沿って配置することができ、いずれの場合も、光学結像手段16aによって結像面23に実像を結像する際に支障となることはなく、人物A、Bは結像面23に結像する実像を視認することができる。但し、ケーブル51を下方に垂らす場合は、検知手段29で結像面23上での人物A又はBの手や指の位置及び動作を検知する際に、ケーブル51が邪魔にならないように、検知手段29とケーブル51の位置関係を考慮する。例えば、検知手段29の正面にケーブル51が重ならないように、検知手段29を光学結像手段16aの幅方向(左右方向)にずらして配置してもよいし、ケーブル51よりも前方側(結像面23側)に配置してもよい。
【0038】
特に撮像手段18aが小型(薄型)である場合に、本実施の形態のように、取付孔を形成していない光学結像手段16aの表面に撮像手段18aを取付けることができる。なお、本実施の形態では、表示面14が下向きで水平に配置された表示手段15に対し、表示面14の下方に、光学結像手段16aの出光側を斜め下向きに配置したが、表示手段15、光学結像手段16a、撮像手段18a、検知手段29の位置関係を上下反転(180度回転)させて、第1の実施の形態と同様に、光学結像手段16aの出光側を斜め上向きに配置してもよい。また、上記構成の位置関係を撮像手段18aの軸心を中心に90度回転(回転方向は右回りでも左回りでも可)させて表示手段の表示面を鉛直方向に配置し、表示手段の側方に光学結像手段を出光側が斜め横向きとなるようにして配置することもできる。
【0039】
次に、
図6を参照して、本発明の第3の実施の形態に係る画像通信装置56a、56bについて説明する。
この画像通信装置56a、56bが、第1の実施の形態と異なる点は、表示手段15の設置角度が水平面に対して傾斜しており、それに応じて光学結像手段16bの傾斜角度が変更され、光学結像手段16bの出光側中央部に撮像手段18aのケーブル51を挿通するための取付孔19aが形成されて、その表面(出光側)に撮像手段18aが取付けられている点であり、その動作及び得られる作用、効果は第1の実施の形態と同様である。このように、表示手段15の設置角度が水平でなく傾斜している場合でも、光学結像手段16bの傾斜角度を適宜、選択することにより、結像面23を鉛直面とすることができる。また、撮像手段18aのケーブル51を取付孔19aに挿通して光学結像手段16bの背面側(入光側)から取出すことにより、光学結像手段16bの表面側(出光側)にケーブル51が露出することがなく、取り扱い性に優れる。このとき、取付孔19aから取出したケーブル51は、そのまま後方又は下方に引き出すことや、光学結像手段16bの背面や外側面に沿って配置することができ、いずれの場合も、光学結像手段16bによって結像面23に実像を結像する際に支障となることはなく、人物A、Bは結像面23に結像する実像を視認することができる。ケーブル51のみを挿通する取付孔19aは小さく、加工も容易に行うことができる。
【0040】
なお、本実施の形態では、表示面14が上向きで水平面に対して傾斜するように表示手段15を配置したが、第1の実施の形態と同様に、表示面14が上向きで水平となるように表示手段15を配置し、表示面14の上方に、出光側が斜め上向きとなるように光学結像手段16bを傾斜配置してもよいし、第2の実施の形態と同様に、表示面14が下向きで水平となるように表示手段15を配置し、表示面14の下方に、出光側が斜め下向きとなるように光学結像手段16bを傾斜配置してもよい。また、本実施の形態における表示手段15、光学結像手段16b、撮像手段18a、検知手段29の位置関係を、撮像手段18aの軸心を中心に上下反転(180度回転)させることや、90度回転(回転方向は右回りでも左回りでも可)させることもできる。
【0041】
以上、本発明の実施の形態を説明したが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
上記実施の形態では、通信を行う2つの地点の双方に本発明に係る画像通信装置を設置した場合について説明したが、必ずしも双方にこの画像通信装置を設置する必要はなく、一方の装置は、他方の画像通信装置から送られる画像信号を受けて対話相手となる人物の画像を表示する表示手段(ディスプレイ)と、その表示手段を見ている人物を撮像する撮像手段(カメラ)と、撮像手段で撮像された画像の画像信号を通信ネットワークを介して画像通信装置に送信する画像信号出力手段のみを備えたものであればよい。このような装置として、例えば、汎用のカメラ付きのスマートフォン等の携帯端末やパーソナルコンピュータ等を使用することができる。
【0042】
また、上記実施の形態では、2つの地点間で通信を行う場合について説明したが、3つ以上の地点間で通信を行うことも可能である。なお、3つ以上の地点間で通信を行う場合は、各地点の表示手段に表示する他地点の人物の画像を適宜、選択して切替える必要がある。例えば、3つの地点で人物A、B、Cが通信を行う場合、人物Aが発言している時には、人物B、C側の表示手段に人物Aの画像を表示することが好ましい。このとき、発言している人物A或いは発言を聞いている人物B、Cが、手動で選択して人物Aの画像が表示されるように切替えてもよいが、人物A側の検知手段で人物Aの声を検知した時に、人物Aの画像を人物A側の画像信号出力手段から人物B、C側の画像信号出力手段に送信し、それぞれの表示手段に表示するようにして、画像の切替えを自動化することもできる。なお、人物A側の表示手段には、人物B又はCの画像を表示することが好ましい。このとき、表示する人物B又Cの画像は、例えば、人物A側の画像信号出力手段により自動的に定期又は不定期で切替えてもよいし、人物Aが、発言の内容等に応じて、手動で人物B又はCの画像を選択して切替えてもよい。
【0043】
上記実施の形態では、実像が形成される結像面が鉛直となるように、表示手段の設置角度と、光学結像手段の傾斜角度を設定したが、人物の姿勢(視線の方向)に応じて実像(結像面)を傾斜させてもよく、表示手段の設置角度と、光学結像手段の傾斜角度は、適宜、選択することができる。また、表示手段と光学結像手段との間には、必要に応じて、凸レンズ又はその他のレンズ等を用いた拡大手段を配置してもよい。表示手段に表示される画像を拡大手段で拡大してから光学結像手段によって実像として結像させることができるので、表示手段を小型化することができる。
更に、上記実施の形態では、検知手段として、実像に焦点を合わせ、結像面上での人物の手や指の位置及び動作を検知するもの(赤外線モーションセンサー等)について説明したが、その他に、検知手段として、表示手段の表面(表示面)に、表側からの光のみを検知するセンサ素子が並んで設けられた光センサを設置しておき、結像面に触れた手や指からの反射光が光学結像手段を介して表示手段上に実像を形成して、その実像の位置を、光センサで検知することもできる。更に、検知手段として、人物の指や手の動作を検知するものの他、声や音を検知するものを用いることもできる。
【0044】
また、上記実施の形態では、光学結像手段として、第1、第2の光制御部の表側(溝が形成された面)同士が接するように配置したものを用いたが、光学結像手段は、第1、第2の光制御部の光反射面が、平面視して直交配置されていればよい。よって、第1、第2の光制御部の表側と裏側が接するように配置する場合や、第1、第2の光制御部の裏側同士が接するように配置する場合もある。更に、第1、第2の光制御部を2枚の透明板材に別々に形成して接合する代わりに、1枚の透明板材の両面に第1、第2の光制御部を形成することもできる。
なお、第1、第2の光制御部の各溝の垂直面に鏡面(金属反射面)を形成する代わりに、溝内に空気等の気体を密封したり、溝内を真空にしたりして、光の全反射を利用すれば、各溝の垂直面をそのまま光反射面とすることができる。
また、上記実施の形態では、光学結像手段として、第1、第2の光制御部の複数の光反射面がそれぞれ直線状(平行)に配置されたものについて説明したが、複数の光反射面が放射状に配置された第1の光制御部と、複数の光反射面が同心円状に配置された第2の光制御部を有するものも使用することができる。この場合、第1の光制御部の放射状の光反射面が、基準点Xを中心にして直線状に設けられるのに対し、第2の光制御部の同心円状の光反射面は、平面視して基準点Xと重なる基準点Yを中心とする同心円に沿って湾曲しているが、平面視して光反射面同士が交差する点では、両者は直交している。よって、上記実施の形態と同様に、立体像を結像させることができる。
更には、光学結像手段としては、例えば、特許第5437436号公報に記載のように、一方側の面に垂直に(例えば、同一ピッチで)並べて形成された多数の帯状反射面を有する第1、第2の光制御部を、それぞれの帯状反射面が平面視して直交するように重ね合わせて配置した光学結像手段を使用することもできる。
【産業上の利用可能性】
【0045】
本発明に係る画像通信装置及び画像通信方法は、遠隔地の人物同士が、画像を通して会話を行う際に、視線を合わせて意思疎通を図り、スムーズに会話を進めることができ、遠隔会議(テレビ会議)やビデオチャット等で有効に利用できる。
【符号の説明】
【0046】
10a、10b:画像通信装置、14:表示面、15:表示手段、16、16a、16b:光学結像手段、18、18a:撮像手段、19、19a:取付孔、20:画像信号出力手段、21:スピーカー、22:マイク、23:結像面、24:通信ネットワーク、25、26:画像(実像)、27:共通画像作成手段、28共通画像、29:検知手段、30:光反射面、31:第1の光制御部、32:光反射面、33:第2の光制御部、34:第1の透明板材、35:傾斜面、36:垂直面、37:溝、38:凸条、39、40:微小平面部、41:第2の透明板材、42:傾斜面、43:垂直面、44:溝、45:凸条、46、47:微小平面部、48:透明樹脂、50~54:ケーブル、55a、55b:画像通信装置、56a、56b:画像通信装置、80:反射型結像素子、81:表示装置、82:空中映像、83:使用者、84:カメラ、86:表示装置、87:ハーフミラー、88:使用者、89:カメラ、90:板材、91:反射面