特許第6973394号(P6973394)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許6973394情報処理装置、情報処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6973394
(24)【登録日】2021年11月8日
(45)【発行日】2021年11月24日
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   H04N 7/14 20060101AFI20211111BHJP
【FI】
   H04N7/14 120
【請求項の数】8
【全頁数】26
(21)【出願番号】特願2018-531744(P2018-531744)
(86)(22)【出願日】2017年4月25日
(86)【国際出願番号】JP2017016435
(87)【国際公開番号】WO2018025458
(87)【国際公開日】20180208
【審査請求日】2020年4月1日
(31)【優先権主張番号】特願2016-151268(P2016-151268)
(32)【優先日】2016年8月1日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】三木 大輔
(72)【発明者】
【氏名】泉原 厚史
(72)【発明者】
【氏名】阪井 祐介
【審査官】 川中 龍太
(56)【参考文献】
【文献】 特開2008−005122(JP,A)
【文献】 特開2011−113206(JP,A)
【文献】 特開2015−075877(JP,A)
【文献】 国際公開第2010/070820(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14 − 7/173
H04N 21/00 − 21/858
H04N 7/01
G11B 20/10 − 20/16
(57)【特許請求の範囲】
【請求項1】
通信接続先と画像の送受信を行う通信部と、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、を備え
前記設置位置情報は、前記表示装置の地面からの高さ情報を含み、
前記制御部は、前記被写体の距離情報として地面から顔までの実際の高さを算出し、前記表示装置と略同じ位置に立っていると仮定し前記被写体を等身大表示するとともに、実際の高さと同じ位置に前記被写体の顔が位置するよう前記画像の表示範囲を決定し、前記決定した表示範囲に顔が入っていない場合、前記通信接続先に表示範囲から顔が外れていることを通知するよう制御する、
情報処理装置。
【請求項2】
前記制御部は、前記被写体の地面から顔までの高さを、前記画像に映る顔の大きさおよび被写体の年代に基づいて推定される前記通信接続先におけるカメラから被写体までの距離と、前記カメラのスペック情報に基づいて算出する、請求項に記載の情報処理装置。
【請求項3】
前記制御部は、画像に映る顔の大きさとカメラから顔までの距離の関係を示す、被写体の年代および/または性別によって異なる関係曲線に基づいて、前記カメラから被写体までの距離を推定する、請求項に記載の情報処理装置。
【請求項4】
前記カメラのスペック情報は、地面と水平方向の画角情報および地面と垂直方向の画角情報を含む、請求項に記載の情報処理装置。
【請求項5】
前記制御部は、前記通信接続先に対して、前記表示範囲に顔が入るよう誘導する通知を行う、請求項1〜4のいずれか1項に記載の情報処理装置。
【請求項6】
前記制御部は、前記決定した表示範囲に画像情報が足りない部分がある場合、当該足りない部分の画像を補完する、請求項1〜5のいずれか1項に記載の情報処理装置。
【請求項7】
プロセッサが、
通信接続先と画像の送受信を行うことと、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御することとを備える情報処理方法であって、
前記設置位置情報は、前記表示装置の地面からの高さ情報を含み、
前記被写体の距離情報として地面から顔までの実際の高さを算出し、前記表示装置と略同じ位置に立っていると仮定し前記被写体を等身大表示するとともに、実際の高さと同じ位置に前記被写体の顔が位置するよう前記画像の表示範囲を決定し、前記決定した表示範囲に顔が入っていない場合、前記通信接続先に表示範囲から顔が外れていることを通知するよう制御する、
情報処理方法。
【請求項8】
コンピュータを、
通信接続先と画像の送受信を行う通信部と、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部ととして機能させるためのプログラムであって、
前記設置位置情報は、前記表示装置の地面からの高さ情報を含み、
前記制御部は、前記被写体の距離情報として地面から顔までの実際の高さを算出し、前記表示装置と略同じ位置に立っていると仮定し前記被写体を等身大表示するとともに、実際の高さと同じ位置に前記被写体の顔が位置するよう前記画像の表示範囲を決定し、前記決定した表示範囲に顔が入っていない場合、前記通信接続先に表示範囲から顔が外れていることを通知するよう制御する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、通信技術の発達により、遠隔地で相手の映像を見ながら会話を行うTV電話システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各場所に設けられ、一方の場所で撮影された映像および収音された音声データが、リアルタイムで、他方の場所に設置された表示装置およびスピーカから出力される。各ユーザは、互いにカメラの前に位置し、表示装置に映る相手の姿を見ながら会話を行う。
【0003】
また、大画面テレビに対するユーザの位置の誘導に関し、例えば下記特許文献1では、テレビ画面に接近する等ユーザが視聴に不敵な位置で視聴することを防止するために、顔認識を行って適切な視聴位置に誘導する方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−59528号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、映像通信で相手の姿を見ながら会話ができても、目の前に相手がいるような臨場感を得ることはできなかった。
【0006】
そこで、本開示では、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、通信接続先と画像の送受信を行う通信部と、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、を備える、情報処理装置を提案する。
【0008】
本開示によれば、プロセッサが、通信接続先と画像の送受信を行うことと、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御することと、を備える、情報処理方法を提案する。
【0009】
本開示によれば、コンピュータを、通信接続先と画像の送受信を行う通信部と、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、として機能させるための、プログラムを提案する。
【発明の効果】
【0010】
以上説明したように本開示によれば、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能となる。
【0011】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0012】
図1】本開示の一実施形態によるコミュニケーションシステムの全体構成を示す図である。
図2】従来の問題点について説明する図である。
図3】本開示の一実施形態による相手映像の表示例について説明する図である。
図4】本実施形態による情報処理装置の構成の一例を示すブロック図である。
図5】本実施形態によるコミュニケーションシステムの動作処理を示すフローチャートである。
図6】本実施形態によるカメラのスペック情報および設置位置情報について説明する図である。
図7図6に示すカメラにより撮像される画像を示す模式図である。
図8】本実施形態による被写体の顔の距離について説明する図である。
図9】撮像された画像から取得できる顔情報について説明する図である。
図10】本実施形態による年代・性別ごとの距離換算グラフの一例を示す図である。
図11】本実施形態による顔の高さ算出において、カメラと被写体との位置関係を説明する図である。
図12】本実施形態による顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。
図13】本実施形態による被写体が直立していない場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。
図14】本実施形態による被写体が直立していない場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。
図15】本実施形態による被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。
図16】本実施形態による被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。
図17】本実施形態による被写体の顔の位置が地面端よりもカメラに近い位置にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。
図18】本実施形態による被写体の顔の位置が地面端よりもカメラに近い位置にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。
図19】本実施形態による情報処理装置から受信した画像における表示範囲について説明する図である。
図20】本実施形態によるディスプレイの実寸と表示される表示画像について説明する図である。
図21】本実施形態による撮影側の誘導について説明する図である。
図22】本実施形態による撮影側の誘導例について説明する図である。
図23】本実施形態による撮影側の誘導例について説明する図である。
図24】本実施形態による画像の補完について説明する図である。
図25】本開示の他の実施例によるCG空間内での等身大表示について説明する図である。
図26】本開示の他の実施例による複数空間への配信について説明する図である。
図27】本開示にかかる情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるコミュニケーションシステムの概要
2.構成
3.動作処理
4.他の実施例
5.ハードウェア構成
6.まとめ
【0015】
<<1.本開示の一実施形態によるコミュニケーションシステムの概要>>
本開示の一実施形態によるコミュニケーションシステム1の概要について図1を参照して説明する。図1は、本開示の一実施形態によるコミュニケーションシステム1の全体構成を示す図である。
【0016】
図1に示すように、情報処理装置10A、10B、10Cがネットワーク20を介して接続されている。各情報処理装置10A、10B、10Cは、空間A、空間B、空間Cにそれぞれ配置され、各空間を映像・音声・その他の情報チャンネルによって接続し、あたかも各空間がつながっているように感じさせることができる。例えば親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアに相当する表示装置を介してつながっているように見せることを可能とする。互いのリビング空間が接続する場合、ユーザは、相手空間の様子(例えば、子供の様子や親の様子等)を大まかに把握しながら生活することができる。
【0017】
情報処理装置10A〜10Cは、双方向通信の同期処理や、空間距離の算出・制御等を行うが、これらの離隔距離の算出・制御等は、処理サーバ30で行われてもよい。また、図1に示す例ではコミュニケーションシステム1が処理サーバ30を含む構成となっているが、本開示はこれに限定されず、処理サーバ30を含まない構成としてもよい。
【0018】
(背景)
ここで、上述したように、映像通信で相手の姿を見ながら会話ができても、目の前に相手がいるような臨場感を与えることは困難であった。これに対し、例えば相手を小さく表示することで遠くに感じ、大きく表示すると近くに感じることから、表示する大きさを制御して相手との距離感を表現することが考えられる。
【0019】
しかしながら、このような方法は、人物がカメラと正対していることを前提にしており、また、ディスプレイの位置が規定されていないため、例えば、図2に示すように、ディスプレイ60が地面付近に配置されていた場合、相手を大きく表示すると、距離感は近くなって目の前にいるようには見えるが、相手が地面に埋まっているように見え、非常に不自然な状態が発生する。
【0020】
そこで、本実施形態では、ディスプレイの物理的なサイズと設置位置に応じて、相手映像の表示範囲を適切に決定し、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることを可能とする。
【0021】
例えば通信相手の全身が映っている映像を表示する際、図3に示すように、壁に設置された各ディスプレイ15a、15bの物理的なサイズと設置位置に応じて、通信相手の映像をそれぞれ適切な範囲で表示する。情報処理装置10は、ディスプレイ15が設置されている位置を、仮想的な立ち位置Pvとして、相手の顔が、地面から適切な高さに位置するよう制御する。図3の左側に示すディスプレイ15aは、下辺が地面に接地しているため、通信相手の全身を表示しても違和感なく臨場感を与えることができる。
【0022】
一方、図3の右側に示すディスプレイ15bは、地面から離れた位置に設置されているため、通信相手の全身映像をそのまま表示してしまうと、宙に浮いてる状態となると共に、等身大表示もできず、臨場感がない。そこで、情報処理装置10は、仮想的な立ち位置Pvに通信相手が立ったと仮定した場合に適切な高さhに通信相手の顔が配置されるよう表示範囲を制御することで、通信相手があたかも目の前に存在しているような臨場感を与えることを可能とする。
【0023】
このように、本実施形態では、特別な距離検出機器で測定した被写体の人物の距離情報を用いることなく、被写体の人物を等身大、最適位置に表示し、接続相手があたかもその場にいるかのような存在感を与えることができる。
【0024】
以上、本開示の一実施形態によるコミュニケーションシステム1について説明した。続いて、コミュニケーションシステム1に含まれる情報処理装置10の構成と、コミュニケーションシステム1の動作処理について図面を参照して詳細に説明する。
【0025】
<<2.情報処理装置の構成>>
図4は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図4に示すように、情報処理装置10は、制御部11、カメラ12、マイクロホン13、通信部14、ディスプレイ15、スピーカ16、および記憶部17を有する。
【0026】
制御部11は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部11は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部11は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0027】
また、本実施形態による情報処理装置10は、画像解析部111、算出部112、画像生成部113、表示制御部114、および送信制御部115としても機能する。
【0028】
画像解析部111は、通信部14を介して受信された、接続先の空間の映像の解析を行う。例えば画像解析部111は、物体認識、顔検出、顔認識等を行う。
【0029】
算出部112は、画像解析部111による解析結果に基づいて、接続先の空間の映像に映る通信相手の各種距離情報を取得する。距離情報の算出に関しては、図9図18を参照して詳細に説明する。
【0030】
画像生成部113は、算出部112により算出された通信相手の各種距離情報、接続先空間に設置されているカメラ情報(カメラのスペックおよびカメラの設置位置情報を含む)、ディスプレイ15の物理的なサイズおよび設置位置(地面からの高さ等)に基づいて、ディスプレイ15に等身大表示するために適切な範囲を決定し、当該範囲の切り出し、拡大、縮小等を行う。
【0031】
表示制御部114は、ディスプレイ15からの画像表示制御を行う。例えば表示制御部114は、画像生成部113から出力された、適切な範囲で切り出された画像を適切な位置に表示するよう制御する。例えば表示制御部114は、ディスプレイ15が設置されている位置を仮想的な立ち位置として、画像に写る人物が実際にそこに立っているように見えるよう、顔の中心位置の表示位置を調整して等身大表示する。
【0032】
送信制御部115は、カメラ12で撮像した情報処理装置10が設置されている空間の撮像画像やマイクロホン13で収音した本空間の音声信号を、接続先空間に設置されている他の情報処理装置10に通信部14から送信するよう制御する。
【0033】
カメラ12は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。また、本実施形態によるカメラ12は、空間内を撮像し、撮像画像を取得する。
【0034】
マイクロホン13は、空間内の音声や、空間周辺(例えば隣の部屋、廊下、家の外等)の環境音を集音し、音声データを取得する。
【0035】
通信部14は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部14は、例えば有線LAN(Local Area Network)、無線LAN、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。本実施形態による通信部14は、ネットワーク20を介して他の情報処理装置10や処理サーバ30と接続し、データの送受信を行う。
【0036】
ディスプレイ15は、通信部14を介して受信された、接続先の空間の映像を表示する表示装置である。ディスプレイ15は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイなどであってもよい。
【0037】
スピーカ16は、音声データを出力する出力装置である。例えばスピーカ16は、通信部14を介して受信された、接続先の空間の音声を出力する。
【0038】
記憶部17は、上述した制御部11が各機能を実行するためのプログラムやパラメータを格納する。また、記憶部17は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。なお、この記憶部17は、例えば、Flash ROM(又はFlash Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable ROM)などの不揮発性メモリ、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスク、CD(Compact Disc)、DVD−R(Digital Versatile Disc Recordable)およびBD(Blu−Ray Disc(登録商標))などの光ディスク、並びに、MO(Magneto Optical)ディスクなどの記憶媒体であってもよい。
【0039】
<<3.動作処理>>
続いて、本実施形態によるコミュニケーションシステム1の動作処理について図5を参照して説明する。図5は、本実施形態によるコミュニケーションシステム1の動作処理を示すフローチャートである。ここでは一例として空間Aに設置された情報処理装置10Aと空間Bに設置された情報処理装置10Bとが接続し、空間Aと空間Bを繋ぐコミュニケーションシステム1について説明する。
【0040】
図5に示すように、まず、情報処理装置10Bは、カメラ情報を取得し(ステップS103)、カメラパラメータを情報処理装置10Aに送信する(ステップS106)。カメラ情報とは、カメラのスペックおよびカメラの設置位置情報を含む。ここで、図6および図7を参照して、カメラと被写体の位置関係について説明する。図6は、本実施形態によるカメラ12Bのスペック情報および設置位置情報について説明する図である。図6上段には、壁に設置されたカメラ12Bと撮像される被写体(ユーザB)を横から見た図を示し、図6下段には、カメラ12BとユーザBを上から見た図を示す。また、図7には、カメラ12Bにより撮像される画像121を示す。この場合、カメラ自体のスペックとして、下記の情報が取得される。
【0041】
・カメラのスペック
地面と水平方向の画角:φC
地面と垂直方向の画角:θC
地面と水平方向の画素数:XP
地面と垂直方向の画素数:YP
【0042】
また、カメラ12Bが、撮像方向が地面と平行になるよう設置されている場合、情報処理装置10Bは、図6に示すように、カメラ12Bが設置された高さHCGを設置情報として取得する。
【0043】
次に、情報処理装置10Aは、受信したカメラ情報を記憶部17に記録する(ステップS109)。
【0044】
一方、情報処理装置10Bは、カメラ12Bにより撮影を行い(ステップS112)、撮像画像(映像)を情報処理装置10Bに送信する(ステップS115)。撮影および送信は継続的にリアルタイムで行われる。
【0045】
次に、情報処理装置10Aは、受信した映像内に顔が含まれているか否かを判断する(ステップS118)。具体的には、画像解析部111により顔検出を行う。
【0046】
次いで、顔が含まれている場合(ステップS118/Yes)、情報処理装置10Aは、等身大表示が必要であるか否かを判断する(ステップS121)。等身大表示の要否は、例えばユーザ設定に基づいて、等身大表示機能のON/OFFに従って判断される。若しくは、ユーザ行動等に基づいて判断される。例えばユーザBが掃除中にカメラ12Bの前を通っただけである場合や、ユーザBがソファに座ってテレビを見ている場合、勉強や仕事に集中している場合等、顔が映ってはいるがユーザAとの会話を行う状況ではないと判断できる場合、情報処理装置10Aは等身大表示を不要と判断する。かかるユーザBの行動は、例えば画像解析部111による解析結果に基づいて認識され得る。
【0047】
次に、等身大表示が必要であると判断した場合(ステップS121/Yes)、情報処理装置10Aは、被写体の各種距離情報を算出し、表示範囲を決定する(ステップS124〜S130)。
【0048】
具体的には、情報処理装置10Aは、算出部112により、映像に映る被写体(通信相手であるユーザB)の顔の距離を算出する(ステップS124)。ここで、顔の距離算出の一例について、図8図10を参照して説明する。図8は、顔の距離について説明する図である。図8に示すように、本明細書において「顔の距離」とは、カメラ12BからユーザBの顔までの距離DFである。かかる顔の距離DFは、例えば以下のように算出することが可能である。
【0049】
図9は、撮像された画像121から取得できる顔情報について説明する図である。図9に示すように、画像121の横方向をX軸と定義し、縦方向をY軸と定義する。本実施形態による情報処理装置10Aは、画像解析部111により画像121から顔検出顔認識を行い、以下の情報を得ることができる。
【0050】
・顔検出および顔認識に得ることができる情報
撮影された画像内の顔中心のx座標:XF
撮影された画像内の顔中心のy座標:YF
撮影された画像内の顔の幅:WF
撮影された画像内の顔の高さ:HF
撮影された顔から推定された年齢:AF
撮影された顔から推定された性別:SF
【0051】
そして、情報処理装置10Aの算出部112は、取得した顔のサイズ「HF/WF」と、年齢「AF」と、場合によっては性別「SF」も含めて、予め用意した年代・性別ごとの距離換算グラフを参照して、カメラ12Bからの顔の距離DFを算出する。図10に、年代・性別ごとの距離換算グラフの一例を示す。図10に示すように、撮影された顔の大きさとカメラから顔までの距離は比例する。顔の大きさは、概ね年代や性別によって異なるものであるため、図10に示すように、大人男性、大人女性、および子供の、関係曲線を示す。これにより、算出部112は、画像内の被写体の顔の大きさと年代、性別から、被写体のカメラからの距離を算出することができる。なおここで説明した顔の距離の算出方法は一例であって、本開示はこれに限定されない。
【0052】
続いて、算出部112は、被写体の顔の高さを算出する(ステップS112)。ここで、顔の高さの算出の一例について、図11および図12を参照して説明する。図11は、撮影された画像内の被写体の顔の地面からの高さ算出について説明する図である。図12は、顔の高さ算出において、撮影された画像から取得できる距離情報について説明する図である。
【0053】
算出部112は、上記ステップS109で取得したカメラ情報に基づいて、撮影された画像の一番手前の地面端G0のカメラ12Bからの距離dCG0を下記の式1により求める。
【0054】
【数1】
【0055】
また、算出部112は、カメラ12Bからの距離DFにおける、カメラ12Bに映る画像の縦の実寸の長さhPと、横の実寸の長さwPを、それぞれ下記式2、式3により求める。
【0056】
【数2】
【0057】
【数3】
【0058】
さらに、算出部112は、DF> dCG0の時(すなわち、カメラ12Bから被写体までの距離が、カメラ12Bから撮影された画像の一番手前の地面端G0までの距離より長い場合)、G0から人の顔までの距離dFG0は、下記式4により求められる。
【0059】
【数4】
【0060】
したがって、相似比から、図11に示すhGPの長さは、下記式5で示される。
【0061】
【数5】
【0062】
また、撮影された画像内の顔の座標から、図11に示すhFPの長さは、下記式6で示される。
【0063】
【数6】
【0064】
従って、図11のhFGで示す、地面からの顔の高さは、下記式7で求められる。
【0065】
【数7】
【0066】
以上説明したように、本実施形態によれば、情報処理装置10Aは、カメラ12Bのスペック情報、設置位置情報、およびカメラ12Bで撮像された画像の解析結果に基づいて、被写体(通信相手であるユーザB)の地面からの顔の実際の高さを算出することができる。
【0067】
なお、被写体が直立していない体勢であっても、顔が検出され、カメラ12Bから顔までの距離DFが算出されれば、地面から顔までの高さhFGを求めることは可能である。ここで、図13および図14に、被写体が直立していない場合について説明する図を示す。図13は、被写体が直立していない場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。図14は、被写体が直立していない場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。
【0068】
この場合、図14に示す地面から顔の高さhFGは、上記式1〜式7を用いて同様に求められる。
【0069】
また、カメラ12Bから顔の位置が、カメラ12Bにより撮影される画像の一番手前の地面端G0と等距離にあった場合、すなわちカメラ12Bから顔の距離DF=dCG0の場合、dFG0 =0、hGP =0となる。ここで、図15および図16に、被写体の顔の位置が地面端と等距離にある場合について説明する図を示す。図15は、被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。図16は、被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。図15および図16に示すように、被写体がカメラ12Bにより撮影される画像の一番手前の地面端に立っている場合(距離DF=dCG0)、dFG0 =0、hGP =0となる。したがって、算出部112は、下記式8を用いて、地面から顔の高さhFGを算出する。
【0070】
【数8】
【0071】
さらに、被写体の顔の位置が、カメラ12Bにより撮影される画像の一番手前の地面端G0よりもカメラ12Bに近い位置にあった場合、カメラ12Bから顔の距離DF<dCG0となる。ここで、図17および図18に、被写体の顔の位置が地面端よりもカメラ12Bに近い位置にある場合について説明する図を示す。図17は、被写体の顔の位置が地面端よりもカメラ12Bに近い位置にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。図18は、被写体の顔の位置が地面端よりもカメラ12Bに近い位置にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。図17および図18に示すように、被写体がカメラ12Bにより撮影される画像の一番手前の地面端より手前に立っている場合(距離DF<dCG0)、dFG0は、下記式9で示される。
【0072】
【数9】
【0073】
したがって、図17図18に示すhGPも下記の式10で示される。
【0074】
【数10】
【0075】
これにより、算出部112は、下記式11を用いて、地面から顔の高さhFGを算出する。
【0076】
【数11】
【0077】
以上説明したように、被写体がカメラ12Bに対してどの距離に立っていても、地面からの顔の高さhFGを算出することができる。
【0078】
続いて、図5に示すように、情報処理装置10Aの画像生成部113は、算出部112により算出された地面から顔の高さhFGと、ディスプレイ15Aの物理的なサイズ、および設置位置情報(ディスプレイの下辺と地面との距離)に基づいて、受信した画像からディスプレイ15Aに表示する範囲を適切に決定する(ステップS130)。ここで、図19および図20を参照して、ディスプレイ15Aに表示する表示範囲の決定について説明する。図19は、情報処理装置10Bから受信した画像121における表示範囲22について説明する図である。図20は、ディスプレイ15Aの実寸と表示される表示画像について説明する図である。
【0079】
図20に示すディスプレイ15Aの縦横の長さ(垂直方向の長さ:HD、ディスプレイの水平方向の長さ:WD)、および下辺と地面との距離HDGは、予めディスプレイ15Aのサイズ情報および設置位置情報として得られる。
【0080】
これらのサイズ情報および設置位置情報と、上記ステップS127で算出した被写体の地面から顔までの距離hFGに基づいて、ディスプレイ15Aの適切な位置に適切な画像を表示(より具体的には、被写体の顔を、実際の地面からの高さと同じ高さで表示)するために、図19に示すように、撮影画像の左上画素dT(xT,yT)と右下画素dB(xB,yB)の座標を算出し、表示範囲22を決定する。
【0081】
具体的には、まず、画像生成部113は、dTとdBのy座標を算出する。ここで、物理距離としてhFG(被写体の身長)が与えられるので、顔の中心と画面上辺との距離hTFは、下記式12により求められる。
【0082】
【数12】
【0083】
かかる物理距離は、撮影画像の画素数に直すと、
となるため、dTのy座標yTは、
となる。
【0084】
また、同様に、dBのy座標yBは、
となる。
【0085】
次に、dTとdBのx座標を求める。具体的には、例えば表示画面中央に顔が位置するよう、それぞれ下記式13、式14で求められる。
【0086】
【数13】
【0087】
【数14】
【0088】
以上説明したように、画像生成部113は、撮影画像の左上画素dT(xT,yT)と右下画素dB(xB,yB)の座標を算出し、撮影画像の切り出す範囲を決定する。このようにして切り出した表示画像をディスプレイ15Aに表示することで、図20に示すように、通信相手のユーザBが、ディスプレイ15Aが設置されている位置(仮想的な立ち位置Pv)に実際にいるように見える。
【0089】
続いて、図5に示すように、決定した表示範囲22に顔が入っているか否かを判断する(ステップS133)。
【0090】
顔が入っていない場合、情報処理装置10Aは、情報処理装置10Bに表示範囲22に顔が入るようユーザBを音声やテキスト等で誘導する誘導情報を送信する(ステップS136)。すなわち、ディスプレイ15Aのサイズおよび設置位置に応じて被写体を等身大で表示するよう表示範囲を決定した結果、例えば図21の左側に示すように、ディスプレイ15Aに相手の顔が入らない場合がある。この場合、情報処理装置10Aは、撮影側に顔が映っていないことを通知し、図21の右側に示すように、適切な撮影位置に動くよう被写体を誘導することが可能である。
【0091】
次に、情報処理装置10Bは、誘導情報に基づいて、ディスプレイ15Bに誘導メッセージの表示等を行う(ステップS139)。情報処理装置10Aと情報処理装置10Bは、双方向通信を行っており、各空間において、カメラ12およびディスプレイ15が設置されているため、撮影側のディスプレイ15Bに誘導メッセージを表示することも可能である。ここで、図22および図23を参照して、本実施形態による撮影側の誘導例について説明する。図22および図23は、本実施形態による撮影側の誘導例について説明する図である。
【0092】
図22の上段に示すように、例えば撮影側のディスプレイ15Bに「顔が表示エリアから外れています。もう少し下に移動してください」といった誘導メッセージ31を表示してもよい。撮影側のディスプレイ15Bには、双方向通信のため相手側のユーザAの撮像画像がリアルタイムに表示されている。かかる画面上に、誘導メッセージ31が表示されることで、ユーザBは自身の顔がユーザA側の表示エリアに入るよう移動することができる。また、図22の下段に示すように、撮影側のカメラ12Bで撮影されているユーザBの画像32をリアルタイムで撮影側のディスプレイ15Bに表示し、画像32に、相手側で表示されているエリアを示す表示エリア表示33を重畳表示してもよい。これにより、ユーザBに対して相手側(ユーザA側)での表示エリアを可視化して誘導することが可能となる。
【0093】
また、図23の上段に示すように、会話を妨げない画面周辺などの部分に、ユーザBが適切な位置にいる時は青、不適切な位置にいる時は赤などのフレーム34を表示して通知してもよい。また、図23の下段に示すように、「顔が表示エリアから外れています。もう少し下に移動してください。」等の音声35で誘導する方法も可能である。なお、音声メッセージでフィードバックせずに、適切な位置にいる時と、不適切な位置にいる時で異なる効果音やBGMを流して通知することも可能である。例えば、適切な範囲に入った時には「ポーン」と音を鳴らし、不適切な領域にいる時は「ポッポッポッ」と音を鳴り続けるようにしてもよい。
【0094】
そして、図5に示すように、表示範囲に顔が入っていると判断されると(ステップS133/Yes)、情報処理装置10の画像生成部113は、決定された表示範囲の画像が足りているか否かの判断を行う(ステップS136)。
【0095】
表示範囲の画像が足りていない場合(ステップS136/No)、画像生成部113は、足りない領域を補完する(ステップS139)。上述したように適切な表示範囲を決定した結果、ディスプレイ15Aの表示範囲の一部に画像情報がない場合が生じることも考えられるためである。以下、図24を参照して具体的に説明する。
【0096】
図24は、画像の補完について説明する図である。図24の左に示すように、相手側から受信した画像126のうち、被写体の顔の中心位置を調整して等身大表示するよう調整した結果、ディスプレイ15Aに表示する範囲23のうち、画像情報が足りない部分36が生じる場合がある。例えば被写体がカメラに近付き過ぎた場合等に図24左に示すように足りない部分36が生じる場合がある。この場合、画像生成部113は、図24の右に示すように、足りない部分の画像情報を補完する。補完画像37の生成方法は特に限定しないが、例えば過去の画像や、現画像から予測して生成することが可能である。
【0097】
そして、図5に示すように、表示制御部114は、ディスプレイ15Aに、決定された表示範囲の画像を表示する(ステップS142)。
【0098】
なお、受信した画像に顔が含まれていない場合(ステップS118/No)、また、等身大表示の必要性がないと判断された場合(ステップS121/No)、表示制御部114は、受信した画像をそのままディスプレイ15Aに表示する(ステップS142)。
【0099】
以上、本実施形態による情報処理装置10の動作処理について説明した。なお図5に示す例では、説明の都合上、情報処理装置10Bから情報処理装置10Aへ撮像画像を送信する一方向の処理を説明しているが、本実施形態によるコミュニケーションシステム1は、双方向通信であって、上述した処理を、接続する情報処理装置10間においてそれぞれ同様に行われ得る。
【0100】
また、上述した動作処理では撮像画像(映像)の送信について主に説明しているが、併せて被写体の音声情報も送信され得る。
【0101】
<<4.他の実施例>>
<4−1.CG空間への重畳>
以上説明した実施形態の他、情報処理装置10は、例えば撮像画像から人物部分を切り出してCG(Computer Graphics)空間へ重畳して表示してもよい。以下、図25を参照して説明する。
【0102】
図25は、本開示の他の実施例によるCG空間内での等身大表示について説明する図である。図25に示すように、ディスプレイ15AにCG空間を表示している場合に、通信先から受信した撮像画像から切り出した人物(被写体)24を、例えばCG空間内の窓25やドアと同じ場所に立っていると仮定し、人物24を等身大表示する。
【0103】
具体的には、情報処理装置10は、上述した実施形態と同様に、受信した画像および撮影側のカメラ情報から、人物24の地面から顔までの実際の高さを取得し、図25に示すように、CG空間内の窓25やドアと同じ場所を仮想的な立ち位置Pvとして等身大表示する。
【0104】
<4−2.複数地点への配信>
また、本開示の他の実施例として、情報処理装置10が複数の地点(空間)へ映像を配信することも可能である。図26は、複数空間への配信について説明する図である。
【0105】
図26に示すように、例えば空間Bで撮影した映像127を、情報処理装置10Bにより、空間Aおよび空間Cにそれぞれ配信してもよい。空間Aのディスプレイ15Aと空間Bのディスプレイ15Cは、図26に示すように物理的なサイズと設置位置が異なるが、映像127の加工(表示範囲の決定、足りない画像の補完等)はそれぞれ受信側の情報処理装置10A、10Cで行われるため(図5に示すステップS118〜S142参照)、受信側の環境に併せて適切に等身大表示することが可能である。
【0106】
<<5.ハードウェア構成>>
以上、本開示の実施形態を説明した。上述した情報処理装置10の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現されてもよい。
【0107】
図27は、本開示に係る情報処理装置100のハードウェア構成を示した説明図である。図27に示したように、情報処理装置100は、CPU(Central Processing Unit)142と、ROM(Read Only Memory)144と、RAM(Random Access Memory)146と、ブリッジ148と、バス150と、インターフェース152と、入力装置154と、出力装置156と、ストレージ装置158と、ドライブ160と、接続ポート162と、通信装置164とを備える。
【0108】
CPU142は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置10の画像解析部111、算出部112、画像生成部113、表示制御部114、および送信制御部115の動作を実現する。また、CPU142は、マイクロプロセッサであってもよい。ROM144は、CPU142が使用するプログラムまたは演算パラメータ等を記憶する。RAM146は、CPU142の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ROM144およびRAM146により、情報処理システム内の記憶部17の一部を実現する。CPU142、ROM144およびRAM146は、CPUバスなどから構成される内部バスにより相互に接続されている。
【0109】
入力装置154は、情報処理装置10のカメラ12、マイクロホン13や、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびカメラの撮像またはユーザによる入力に基づいて入力信号を生成し、CPU142に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、入力装置154を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0110】
出力装置156は、例えば、情報処理装置10のディスプレイ15の一例として、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプなどの装置からの出力を行う。また、出力装置156は、情報処理装置10のスピーカ16の一例として、スピーカやヘッドフォンなどの音声出力を行う。
【0111】
ストレージ装置158は、データ格納用の装置である。ストレージ装置158は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置158は、CPU142が実行するプログラムや各種データを格納する。
【0112】
ドライブ160は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ160は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM144に出力する。また、ドライブ160は、リムーバブル記憶媒体に情報を書込むこともできる。
【0113】
接続ポート162は、例えば、情報処理装置100の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート162は、USB(Universal Serial Bus)であってもよい。
【0114】
通信装置164は、情報処理装置10の通信部14の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置164は、赤外線通信対応装置であっても、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0115】
<<6.まとめ>>
上述したように、本開示の実施形態によるコミュニケーションシステム1では、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能となる。
【0116】
具体的には、映像の撮影をする際に、カメラ情報(カメラスペックと設置位置情報)を相手側に送信する。受信側では、ディスプレイの物理的なサイズおよび設置位置情報を予め把握しておき、受信した映像に映る人物の顔のサイズから人物の実際の距離を推定し、当該人物の顔の地面からの高さを算出する。そして、受信側では、壁等に設置されたディスプレイの位置を仮想的な立ち位置として当該人物の顔の表示位置を調整し、適切な範囲で切り出した映像を、必要に応じて拡大、縮小、補完等して等身大表示する。
【0117】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0118】
例えば、上述した情報処理装置10、または処理サーバ30に内蔵されるCPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)等のハードウェアに、情報処理装置10、または処理サーバ30の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0119】
また、上述した実施形態では、受信した画像から被写体(通信相手)の顔の地面からの実際の高さを算出して表示範囲を決定しているが、これは一例であって、本実施形態は、被写体の所定の身体部位の地面からの実際の高さを算出して、等身大表示するよう表示範囲を決定するようにしてもよい。
【0120】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0121】
なお、本技術は以下のような構成も取ることができる。
(1)
通信接続先と画像の送受信を行う通信部と、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、
を備える、情報処理装置。
(2)
前記設置位置情報は、前記表示装置の地面からの高さ情報を含み、
前記制御部は、前記被写体の距離情報として地面から顔までの実際の高さを算出し、前記表示装置と略同じ位置に立っていると仮定し、前記被写体を等身大表示するよう制御する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記表示装置と略同じ位置に立っていると仮定した場合に、実際の高さと同じ位置に前記被写体の顔が位置するよう前記画像の表示範囲を決定する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記被写体の地面から顔までの高さを、前記画像に映る顔の大きさおよび被写体の年代に基づいて推定される前記通信接続先におけるカメラから被写体までの距離と、前記カメラのスペック情報に基づいて算出する、前記(2)または(3)のいずれか1項に記載の情報処理装置。
(5)
前記制御部は、画像に映る顔の大きさとカメラから顔までの距離の関係を示す、被写体の年代および/または性別によって異なる関係曲線に基づいて、前記カメラから被写体までの距離を推定する、前記(4)に記載の情報処理装置。
(6)
前記カメラのスペック情報は、地面と垂直方向の画角情報および地面と垂直方向の画角情報を含む、前記(4)に記載の情報処理装置。
(7)
前記制御部は、前記決定した表示範囲に顔が入っていない場合、前記通信接続先に表示範囲から顔が外れていることを通知するよう制御する、前記(3)に記載の情報処理装置。
(8)
前記制御部は、前記通信接続先に対して、前記表示範囲に顔が入るよう誘導する通知を行う、前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記決定した表示範囲に画像情報が足りない部分がある場合、当該足りない部分の画像を補完する、前記(3)に記載の情報処理装置。
(10)
プロセッサが、
通信接続先と画像の送受信を行うことと、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御することと、
を備える、情報処理方法。
(11)
コンピュータを、
通信接続先と画像の送受信を行う通信部と、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、
として機能させるための、プログラム。
【符号の説明】
【0122】
1 コミュニケーションシステム
10 情報処理装置
11 制御部
12 カメラ
13 マイクロホン
14 通信部
15 ディスプレイ
16 スピーカ
17 記憶部
20 ネットワーク
30 処理サーバ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27