(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0033】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すると明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
【0034】
「第1」または「第2」などが様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に1つの構成要素を他の構成要素と区別するために使用することができる。したがって、以下に言及される第1構成要素は、本発明の技術的思想内で第2構成要素であることもできる。
【0035】
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」または「含んでいる(comprising)」は、言及された構成要素または段階が1つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
【0036】
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
【0037】
以下では、
図1から
図20を参照して、実施例に係る映像表示装置100、150及び映像表示方法について詳細に説明することにする。
【0038】
図1は、実施例に係る映像表示装置100、150が動作する環境を示すネットワーク構成図である。
図1を参照すると、映像表示装置100、150が動作する環境は、第1映像表示装置100、及び前記第1映像表示装置100と互いに連結された第2映像表示装置150を含むことができる。
【0039】
他の実施例によれば、前記映像表示装置100、150が動作する環境は、前記第1映像表示装置100または前記第2映像表示装置150と互いに連結されたサーバー200をさらに含むことができる。前記映像表示装置100、150が動作する環境は、前記サーバー200を含まないことができる。
【0040】
第1映像表示装置100は、端末であることができる。以下では、説明の便宜のために、第1映像表示装置100を指す用語として、第1映像表示装置100及び第1端末100を混用することにする。
【0041】
第1端末100は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス(wearable device)、または携帯用電子機器などであることができる。第1端末100は、プログラムまたはアプリケーションを実行することができる。
【0042】
第1端末100は、通信網に連結されることができる。第1端末100は、前記通信網を介して外部の他の装置と互いに連結されることができる。第1端末100は、互いに連結された他の装置にデータを伝送したり、前記他の装置からデータを受信することができる。
【0043】
第1端末100と連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は3G、LTE、またはLTE−Aなどのような移動通信網を含むことができる。通信網は、ワイファイ(Wi−Fi)、UMTS/GPRS、またはイーサネット(Ethernet)などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安送信(MST,Magnetic Secure Transmission)、RFID(Radio Frequency IDentification)、NFC(Near Field Communication)、ジグビー(ZigBee)、Z−Wave、ブルートゥース(Bluetooth)、低電力ブルートゥース(BLE,Bluetooth Low Energy)、または赤外線通信(IR,InfraRed communication)などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク(LAN,Local Area Network)、メトロポリタン・エリア・ネットワーク(MAN,Metropolitan Area Network)、またはワイド・エリア・ネットワーク(WAN,Wide Area Network)などを含むことができる。
【0044】
図2は、実施例に係る映像表示装置100、150の構成を示すブロック図である。
図2を参照すると、実施例に係る映像表示装置100、150は、入力部101、制御部102、保存部103、通信部104、及び出力部105を含むことができる。
【0045】
入力部101は、外部から信号を受信することができる。入力部101は、映像表示装置100、150の使用者から信号を受信することができる。また、入力部101は、外部装置から信号を受信することができる。入力部101は、例えば、マイク、カメラ、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、または、その他の入力装置を含むことができる。
【0046】
入力部101は、入力部101に含まれたカメラを介して外部から光を受信することができる。入力部101は、外部の事物から放出された光または外部の事物から反射した光を受信することができる。入力部101は、前記カメラを介して映像表示装置100、150の使用者の映像を撮影することができる。
【0047】
入力部101は、入力部101に含まれたマイクを介して外部から音声を受信することができる。入力部101は、映像表示装置100、150の使用者から音声を受信することができる。また、入力部101は、外部の音声再生装置から音声を受信することができる。入力部101は、前記マイクを介して映像表示装置100、150の使用者の音声を録音することができる。
【0048】
制御部102は、映像表示装置100、150の動作を制御することができる。制御部102は、映像表示装置100、150に含まれたそれぞれの構成要素と互いに連結されることができる。制御部102は、映像表示装置100、150に含まれたそれぞれの構成要素の動作を制御することができる。
【0049】
制御部102は、信号を処理することができる。制御部102は、入力部101によって受信された信号を処理することができる。例えば、制御部102は、入力部101を介して受信された使用者の要請を処理することができる。制御部102は、入力部101に含まれたカメラによって撮影された使用者の映像を処理することができる。制御部102は、入力部101に含まれたマイクによって録音された使用者の音声を処理することができる。
【0050】
制御部102は、通信部104によって受信された信号を処理することができる。例えば、制御部102は、通信部104を介して受信された使用者の要請を処理することができる。制御部102は、通信部104を介して受信された他の使用者の映像または音声を処理することができる。
【0051】
制御部102は、入力部101によって受信された信号に対する応答として、映像表示装置100、150の動作を制御することができる。制御部102は、入力部101を介して受信された使用者の要請に対する応答として、映像表示装置100、150の動作を制御することができる。
【0052】
制御部102は、演算を行うことができる。制御部102は、入力部101によって受信された信号に基づいて演算を行うことができる。制御部102は、入力部101によって受信された信号または保存部103に保存されたデータを用いて演算を行うことができる。例えば、制御部102は、入力部101に含まれたカメラによって撮影された映像をエンコードすることができる。制御部102は、入力部101に含まれたマイクによって録音された音声をエンコードすることができる。
【0053】
制御部102は、通信部104によって受信された他の使用者の映像または音声をデコードすることができる。制御部102は、前記デコードされた映像または音声に後処理(postprocessing)を行うことができる。例えば、制御部102は、通信部104によって受信された他の使用者の映像に映像処理(image processing)を行うことができる。
【0054】
制御部102は、演算結果が保存部103に保存されるように制御することができる。制御部102は、演算結果が出力部105によって出力されるように制御することができる。
【0055】
制御部102は、例えば、中央処理装置(Central Processing Unit,CPU)、グラフィック処理装置(Graphic Processing Unit,GPU)、マイクロコントローラーユニット(Micro Controller Unit,MCU)、またはマイクロプロセッサ(microprocessor)を含むことができる。
【0056】
保存部103は、データを保存することができる。保存部103は、制御部102が演算を行うのに用いるデータを保存することができる。保存部103は、制御部102によって行われた演算結果を保存することができる。例えば、保存部103は、制御部102によってエンコードされた映像または音声を保存することができる。保存部103は、通信部104を介して外部に伝送するデータを保存したり、通信部104を介して外部から受信されたデータを保存することができる。
【0057】
保存部103は、揮発性メモリーまたは非揮発性メモリーを含むことができる。保存部103は、例えば、フラッシュ(flash)メモリー、ROM、RAM、EEROM、EPROM、EEPROM、ハードディスクドライブ(HDD,Hard Disk Drive)、またはレジスター(register)などを含むことができる。保存部103は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
【0058】
通信部104は、外部にデータを伝送したり、外部からデータを受信することができる。通信部104は、他の映像表示装置100、150またはサーバー200にデータを伝送することができる。通信部104は、他の映像表示装置100、150またはサーバー200からデータを受信することができる。通信部104は、制御部102によって行われた演算結果を外部に伝送することができる。また、通信部104は、保存部103に保存されたデータを外部に伝送することができる。通信部104は、制御部102が演算を行うのに用いるデータを外部から受信することができる。
【0059】
通信部104によって伝送されるデータまたは通信部104によって受信されたデータは、保存部103に保存されることができる。例えば、通信部104は、保存部103に保存されたエンコードされた映像または音声をサーバー200または他の映像表示装置100、150に伝送することができる。また、通信部104は、他の映像表示装置100、150から前記他の映像表示装置100、150によってエンコードされた映像または音声を受信することができる。
【0060】
通信部104は、例えば、3Gモジュール、LTEモジュール、LTE−Aモジュール、Wi−Fiモジュール、ワイギグ(WiGig)モジュール、UWB(Ultra Wide Band)モジュール、またはLANカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部104は、マグネチック保安送信(MST,Magnetic Secure Transmission)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビー(ZigBee)モジュール、Z−Waveモジュール、または赤外線モジュールなどのような近距離用のネットワークインターフェースを含むことができる。また、通信部104は、その他のネットワークインターフェースを含むことができる。
【0061】
出力部105は、外部に信号を出力することができる。出力部105は、例えば、画面を表示したり、音を再生したり、または振動を出力することができる。出力部105は、ディスプレイ、スピーカー、バイブレーター、オシレーター、またはその他の出力装置を含むことができる。
【0062】
出力部105は、画面を表示することができる。制御部102は、出力部105が画面を表示するように出力部105を制御することができる。出力部105は、使用者インターフェースを表示することができる。出力部105は、使用者からの入力に対する応答として、他の画面を表示することができる。
【0063】
出力部105は、データを表示することができる。出力部105は、制御部102によって行われた演算結果を表示することができる。出力部105は、保存部103に保存されたデータを表示することができる。出力部105は、通信部104によって受信されたデータを表示することができる。
【0064】
出力部105は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)、またはPDP(Plasma Display Panel)などの平板表示装置を含むことができる。出力部105は、曲面ディスプレイまたはフレキシブルディスプレイ(flexible display)を含むことができる。出力部105は、タッチスクリーンを含むことができる。
【0065】
出力部105は、第1映像表示装置100によって撮影された使用者の映像または第2映像表示装置150によって撮影された他の使用者の映像を表示することができる。また、出力部105は、第1映像表示装置100によって録音された使用者の音声または第2映像表示装置150によって録音された他の使用者の音音を再生することができる。
【0066】
第2映像表示装置150は、端末であることができる。以下では、説明の便宜のために、第2映像表示装置150を指す用語として、第2映像表示装置150及び第2端末150を混用することにする。
【0067】
第2端末150は、第1端末100と互いに同じ種類の端末であることもでき、互いに異なる種類の端末であることもできる。第2端末150は、プログラムまたはアプリケーションを実行することができる。
【0068】
第2端末150は、通信網に連結されることができる。第2端末150は、前記通信網を介して外部の他の装置と互いに連結されることができる。第2端末150は、互いに連結された他の装置にデータを伝送したり、前記他の装置からデータを受信することができる。
【0069】
第2端末150は、前記第1端末100と互いに連結されることができる。第2端末150は、前記通信網を介して前記第1端末100と互いに連結されることができる。第2端末150は、第1端末100にデータを伝送したり、第1端末100からデータを受信することができる。
【0070】
互いに連結された第1端末100及び第2端末150は、互いにメッセージ、ファイル、音声データ、映像、または動画などを送受信することができる。第2端末150は、第1端末100との音声通話セッションまたは映像通話(video call)セッションを樹立することができる。前記映像通話セッションは、例えば、TCP(Transmission Control Protocol)、UDP(User Datagram Protocol)、またはWebRTC(Web Real−Time Communication)などを用いて樹立することができる。第1端末100の使用者及び第2端末150の使用者は、互いに音声通話または映像通話をすることができる。
【0071】
前記映像通話セッションは、第1端末100及び第2端末150の間に直接的に樹立されることができる。他の実施例によれば、少なくとも1つ以上の他の装置を経由して、第1端末100及び第2端末150の間に映像通話セッションが樹立されることができる。例えば、前記映像通話セッションは、第1端末100とサーバー200の間に樹立されたセッション及びサーバー200と第2端末150の間に樹立されたセッションを含むことができる。
【0072】
第1端末100及び第2端末150は、互いに直接データを送受信することができる。また、第1端末100及び第2端末150は、サーバー200または他の仲介装置を経由して、データを送受信することができる。
【0073】
サーバー200は、第1端末100または第2端末150と互いに連結されることができる。サーバー200が第1端末100と互いに連結された場合、サーバー200は、第1端末100と通信網を介して互いにデータを送受信することができる。サーバー200が第2端末150と互いに連結された場合、サーバー200は、第2端末150と通信網を介して互いにデータを送受信することができる。
【0074】
サーバー200は、第1端末100からデータを受信することができる。サーバー200は、第1端末100から受信されたデータを用いて演算を行うことができる。サーバー200は、前記演算結果を第1端末100または第2端末150に伝送することができる。サーバー200は、第2端末150からデータを受信することができる。サーバー200は、第2端末150から受信されたデータを用いて演算を行うことができる。サーバー200は、前記演算結果を第1端末100または第2端末150に伝送することができる。
【0075】
以下では、
図3から
図20を参照して、実施例に係る映像表示方法内での映像表示装置100、150のより具体的な動作について詳細に説明することにする。
【0076】
図3は、実施例に係る映像表示方法が行われる過程を示すフローチャートである。
図3を参照すると、実施例に係る映像表示方法においては、まず、第1端末100から前記第1端末100によって撮影された複数の映像を含むストリームを受信する段階S100が行われることができる。
【0077】
第2端末150の通信部104は、第1端末100との映像通話セッションを樹立することができる。第2端末150の通信部104は、前記映像通話セッションを介して第1端末100からストリームを受信することができる。前記ストリームは、複数の映像を含むことができる。例えば、前記ストリームは、動画(video)または少なくとも2つ以上の静止映像(still image)を含むことができる。
【0078】
前記ストリームに含まれた複数の映像は、第1端末100の入力部101に含まれたカメラによって撮影された映像であることができる。第2端末150は、第1端末100によって連続的に撮影されている複数の映像を前記ストリームを介して連続的に受信することができる。
【0079】
前記複数の映像は、第1端末100の使用者の映像であることができる。例えば、前記複数の映像は、第1端末100の使用者の顔の映像を含むことができる。前記複数の映像は、第1端末100の使用者の身体の映像を含むことができる。
【0080】
第2端末150は、第1端末100から前記ストリームを直接受信することができる。他の実施例によれば、第2端末150は、第1端末100からサーバー200を経由して、前記ストリームを受信することができる。
【0081】
次に、前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階S110が行われることができる。第2端末150の制御部102は、前記ストリームに含まれた複数の映像の中から少なくとも1つ以上のサンプル映像を選択することができる。第2端末150の制御部102は、前記複数の映像の中からランダムにまたは特定の規則に基づいてサンプル映像を選択することができる。
【0082】
例えば、第2端末150の制御部102は、特定の周期ごとに、前記ストリーム内の新たに受信された映像の中から新たなサンプル映像を選択することができる。第2端末150の制御部102は、前記ストリーム内で最も最近に選択されたサンプル映像よりも後に受信されたすべての映像の中から新たなサンプル映像を選択することができる。第2端末150の制御部102は、ランダムにまたは特定の規則に基づいて前記新たなサンプル映像を選択することができる。
【0083】
第2端末150の制御部102は、前記選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みることができる。第2端末150の制御部102は、例えば、OpenCV(Open Source Computer Vision)のようなオープンソース(open source)ライブラリーまたは他の商用プログラムを用いて、1つの映像内に人の顔面に対応する部分が存在するか否かを検出することができる。第2端末150の制御部102は、それぞれのサンプル映像ごとに顔面に対応する部分が存在するか否かを検出することができる。
【0084】
図4は、実施例に係るストリームに含まれた複数の映像の中から選択されたサンプル映像である。また、
図5は、実施例に係るストリームに含まれた複数の映像の中から選択された他のサンプル映像である。第2端末150の制御部102は、
図4のサンプル映像及び
図5のサンプル映像のそれぞれにおいて顔面の検出を試みることができる。
【0085】
再び
図3を参照すると、次に、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階S120が行われることができる。第2端末150の制御部102は、それぞれのサンプル映像ごとに顔面に対応する部分が存在するか否かを判定することができる。前記判定結果、第2端末150の制御部102は、前記サンプル映像の中で少なくとも1つのサンプル映像において顔面が検出されなかったと判定することができる。
【0086】
例えば、第2端末150の制御部102は、
図4の映像のように、第1端末100の使用者の上半身に対応するサンプル映像において顔面が検出されたと判定することができる。しかし、第2端末150の制御部102は、
図5の映像のように、第1端末100の使用者の下半身に対応するサンプル映像において顔面が検出されなかったと判定することができる。
【0087】
再び
図3を参照すると、次に、前記ストリームに含まれた前記複数の映像の中で少なくとも1つ以上の映像に映像処理を行う段階S130が行われることができる。もし前記のように、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定された場合、第1端末100から受信された複数の映像は、淫らな映像が含まれていると判定することができる。例えば、第1端末100から受信された複数の映像に、
図5のような映像が含まれている場合、前記複数の映像は、淫らな映像が含まれていると判定することができる。
【0088】
第2端末150の制御部102は、第2端末150の使用者が淫らな映像にさらされることを防止するために、前記複数の映像の中で少なくとも1つ以上の映像に映像処理を行うことができる。第2端末150の制御部102は、すべての前記複数の映像に映像処理を行うか、前記複数の映像の中から選択された一部の映像に映像処理を行うことができる。
【0089】
図6は、実施例に係る映像処理を行う段階S130が行われる過程を示すフローチャートである。
図6を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から少なくとも1つ以上の対象映像を選択する段階S131が行われることができる。
【0090】
第2端末150の制御部102は、前記複数の映像の中から映像処理を行う少なくとも1つ以上の対象映像を選択することができる。例えば、第2端末150の制御部102は、前記ストリームに含まれたすべての前記複数の映像を前記対象映像として選択することができる。
【0091】
他の実施例によれば、第2端末150の制御部102は、前記複数の映像の中で、顔面が検出されなかったと判定された前記サンプル映像に対応する少なくとも1つ以上の映像に映像処理を行うことができる。前記サンプル映像に対応する映像は、前記複数の映像の中で、前記サンプル映像が受信された時刻から特定の時間範囲内に受信されたすべての映像であることができる。
【0092】
例えば、前記ストリームを介して1秒当たり20個の映像が連続的に受信されると仮定することにする。また、4秒の周期が巡ってくるたびに、最も最近に受信された映像が新たなサンプル映像として選択されると仮定することにする。また、2つのサンプル映像において顔面が検出されなかったと判定されたと仮定することにする。前記2つのサンプル映像が受信された時刻は、それぞれ24秒の時点及び32秒の時点であることができる。前記2つのサンプル映像に対応する映像は、22秒の時点から26秒の時点までの時間範囲内に受信された約80個の映像及び30秒の時点から34秒の時点までの時間範囲内に受信された約80個の映像であることができる。
【0093】
第2端末150の制御部102が前記サンプル映像を選択する方法及び前記対象映像を選択する方法は、実施例によって変わることができる。
図7は、実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。
【0094】
図7を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から、最近の特定の時間に対応する少なくとも1つ以上のサンプル映像を選択する段階S210が行われることができる。第2端末150の制御部102は、前記ストリーム内で最近の特定の時間の間に受信された映像の中から少なくとも1つ以上のサンプル映像を選択することができる。
【0095】
例えば、第2端末150の制御部102は、最近の1秒の間に受信された映像の中から2つのサンプル映像を選択することができる。
図8は、実施例に係るサンプル映像を選択する方法を説明するための参考図である。
図8を参照すると、ストリーム内で第1映像301がサンプル映像として、過去にすでに選択されていることがあり得る。第2端末150の制御部102は、現在から特定の時間以前の時点である第1時点(t1)以後に受信された映像の中から第2映像302及び第3映像303をサンプル映像として追加的に選択することができる。
【0096】
再び
図7を参照すると、次に、前記選択された少なくとも1つ以上のサンプル映像において前記顔面の検出を試みる段階S211が行われることができる。第2端末150の制御部102は、選択されたサンプル映像のそれぞれにおいて顔面に対応する部分が存在するか否かを検出することができる。例えば、第2端末150の制御部102は、第2映像302及び第3映像303において顔面の検出を試みることができる。
【0097】
次に、前記選択された少なくとも1つ以上のサンプル映像において前記顔面が検出されなかったと判定する段階S220が行われることができる。第2端末150の制御部102は、選択されたサンプル映像において顔面に対応する部分が存在しないと判定することができる。
【0098】
第2端末150の制御部102は、選択されたサンプル映像のすべてにおいて顔面に対応する部分が存在しない場合、前記顔面が検出されなかったと判定することができる。他の実施例によれば、第2端末150の制御部102は、選択されたサンプル映像の中で少なくとも1つ以上のサンプル映像において顔面に対応する部分が存在しない場合、前記顔面が検出されなかったと判定することができる。例えば、第2端末150の制御部102は、第2映像302及び第3映像303において顔面が検出されなかったと判定することができる。
【0099】
次に、前記ストリームに含まれた前記複数の映像の中から前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階S231が行われることができる。例えば、第2端末150の制御部102は、最近の1秒の間に受信されたすべての映像を前記対象映像として選択することができる。もし前記ストリームを介して1秒当たり20個の映像が連続的に受信されている場合、第2端末150の制御部102は、最近の1秒の間に受信された約20個の映像を前記対象映像として選択することができる。
図8を参照すると、第2端末150の制御部102は、第2映像302及び第3映像303を含み、現在から特定の時間以前の時点(t1)以後に受信されたすべての映像を前記対象映像として選択することができる。
【0100】
図9は、他の実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。
図9を参照すると、まず、特定の周期ごとに、前記ストリーム内の新たに受信された映像の中から新たなサンプル映像を選択する段階S310が行われることができる。第2端末150の制御部102は、特定の周期ごとに最も最近に選択されたサンプル映像よりも後に受信されたすべての映像の中から少なくとも1つ以上の新たなサンプル映像を選択することができる。
【0101】
例えば、第2端末150の制御部102は、1秒ごとに2つの新たなサンプル映像を選択することができる。
図8を参照すると、第2端末150の制御部102は、第1映像301よりも後に受信されたすべての映像の中から第2映像302及び第3映像303を新たなサンプル映像として選択することができる。
【0102】
再び
図9を参照すると、次に、前記新たなサンプル映像が選択されるたびに、前記新たなサンプル映像において前記顔面の検出を試みる段階S311が行われることができる。第2端末150の制御部102は、前記特定の周期ごとに新たに選択されたサンプル映像において顔面の検出を試みることができる。
【0103】
次に、前記サンプル映像の中で最近の特定の時間以内に選択されたすべてのサンプル映像において前記顔面が検出されなかったと判定する段階S320が行われることができる。例えば、第2端末150の制御部102は、最近の1秒以内に選択された2つのサンプル映像において顔面が検出されなかったと判定することができる。すなわち、第2端末150の制御部102は、第2映像302及び第3映像303において顔面が検出されなかったと判定することができる。
【0104】
次に、前記ストリームに含まれた前記複数の映像の中から、前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階S331が行われることができる。例えば、第2端末150の制御部102は、最近の1秒の間に受信されたすべての映像を前記対象映像として選択することができる。もし、前記ストリームを介して1秒当たり20個の映像が連続的に受信されている場合、第2端末150の制御部102は、最近の1秒の間に受信された約20個の映像を前記対象映像として選択することができる。
図8を参照すると、第2端末150の制御部102は、第2映像302及び第3映像303を含み、現在から特定の時間以前の時点(t1)以後に受信されたすべての映像を前記対象映像として選択することができる。
【0105】
図10は、また他の実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。
図10を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から選択された第1サンプル映像において前記顔面の検出を試みる段階S410が行われることができる。第2端末150の制御部102は、前記複数の映像の中から第1サンプル映像を選択することができる。第2端末150の制御部102は、前記第1サンプル映像において顔面に対応する部分が存在するか否かを検出することができる。
【0106】
図11は、また他の実施例に係るサンプル映像を選択する方法を説明するための参考図である。
図11を参照すると、ストリーム内で第4映像311がサンプル映像として過去にすでに選択されていることがあり得る。第2端末150の制御部102は、第4映像311よりも後に受信された映像の中から第5映像312を前記第1サンプル映像として選択することができる。
【0107】
次に、前記ストリーム内で前記第1サンプル映像よりも後に受信されたすべての映像の中から選択された少なくとも1つ以上の第2サンプル映像のそれぞれにおいて前記顔面の検出を試みる段階S411が行われることができる。第2端末150の制御部102は、前記第1サンプル映像よりも後に受信された映像の中から、少なくとも1つ以上の第2サンプル映像を選択することができる。第2端末150の制御部102は、それぞれの第2サンプル映像において顔面に対応する部分が存在するか否かを検出することができる。
【0108】
例えば、
図11を参照すると、第2端末150の制御部102は、第5映像312よりも後に受信された映像の中から、第6映像313を前記第2サンプル映像として選択することができる。第2端末150の制御部102は、第6映像313において顔面に対応する部分が存在するか否かを検出することができる。
【0109】
他の例として、第2端末150の制御部102は、2つの映像を前記第2サンプル映像として選択することができる。前記2つの映像は、第6映像313、及び第5映像312よりも後に受信され、第6映像313よりも先に受信された他の映像を含むことができる。第2端末150の制御部102は、前記2つの映像のそれぞれにおいて顔面に対応する部分が存在するか否かを検出することができる。
【0110】
再び
図10を参照すると、次に、前記第1サンプル映像及びすべての前記少なくとも1つ以上の第2サンプル映像において前記顔面が検出されなかったと判定する段階S420が行われることができる。第2端末150の制御部102は、第1サンプル映像及び第2サンプル映像において顔面が検出されなかったと判定することができる。例えば、第2端末150の制御部102は、第5映像312及び第6映像313において顔面が検出されなかったと判定することができる。
【0111】
次に、前記ストリームに含まれた前記複数の映像の中から、前記第1サンプル映像及び第2サンプル映像に対応する映像を前記対象映像として選択する段階S431が行われることができる。第2端末150の制御部102は、前記第1サンプル映像及び第2サンプル映像に対応する映像を前記対象映像として選択することができる。
【0112】
例えば、前記第1サンプル映像及び第2サンプル映像に対応する映像は、前記複数の映像の中で前記第1サンプル映像及び前記第1サンプル映像よりも後に受信されたすべての映像を含むことができる。
図11を参照すると、第2端末150の制御部102は、第5映像312、及び第5映像312よりも後に受信されたすべての映像を前記対象映像として選択することができる。
【0113】
他の実施例によれば、選択された対象映像は、前記第1サンプル映像、前記少なくとも1つ以上の第2サンプル映像、及び周辺の映像を含むことができる。前記周辺映像は、前記第1サンプル映像よりも後に受信され、前記少なくとも1つ以上の第2サンプル映像の中で最後に受信された映像よりさらに先に受信されたすべての映像であることができる。
図11を参照すると、第2端末150の制御部102は、第5映像312、第6映像313、及び第5映像312よりも後に受信され、第6映像313より先に受信されたすべての映像を前記対象映像として選択することができる。
【0114】
図12は、また他の実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。
図12を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から、第1時刻に対応する第1サンプル映像及び前記第1時刻から特定の時間以上の時間差を持つ第2時刻に対応する第2サンプル映像を含む少なくとも2以上のサンプル映像を選択する段階S510が行われることができる。
【0115】
第2端末150の制御部102は、ストリームに含まれた複数の映像の中から第1サンプル映像を選択することができる。前記第1サンプル映像が受信された時刻は、第1時刻であることができる。第2端末150の制御部102は、第1サンプル映像が受信された時刻から特定の時間以上が経過した後に受信された映像を第2サンプル映像として選択することができる。すなわち、第1サンプル映像が受信された時刻及び第2サンプル映像が受信された時刻の時間差は、前記特定の時間以上であることができる。前記特定の時間は、例えば、1秒であることができる。
【0116】
また、第2端末150の制御部102は、第1サンプル映像よりも先に受信された映像の中からサンプル映像を追加的に選択することができる。また、第2端末150の制御部102は、第1サンプル映像よりも後に受信され、第2サンプル映像よりも先に受信された映像の中からサンプル映像を追加的に選択することができる。また、第2端末150の制御部102は、第2サンプル映像よりも後に受信された映像の中からサンプル映像を追加的に選択することができる。
【0117】
例えば、
図11を参照すると、第2端末150の制御部102は、ストリーム内で任意の第2時点(t2)に受信された映像を第1サンプル映像として選択することができる。第2端末150の制御部102は、第2時点(t2)より1秒以上が経過した後に受信された映像の中から第3時点(t3)に受信された映像を第2サンプル映像として選択することができる。
【0118】
第2端末150の制御部102は、第2時点(t2)よりも先に受信された映像の中から、第4映像311をサンプル映像として追加的に選択することができる。第2端末150の制御部102は、第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信された映像の中から第5映像312及び第6映像313をサンプル映像として追加的に選択することができる。第2端末150の制御部102は、第3時点(t3)よりも後に受信された映像の中から第7映像314をサンプル映像として追加的に選択することができる。
【0119】
再び
図12を参照すると、次に、前記選択された少なくとも2つ以上のサンプル映像のそれぞれにおいて前記顔面の検出を試みる段階S511が行われることができる。第2端末150の制御部102は、第1サンプル映像、第2サンプル映像、及び追加的に選択されたすべてのサンプル映像において顔面の検出を試みることができる。
【0120】
次に、前記選択された少なくとも2つ以上のサンプル映像の中で、前記第1サンプル映像、前記第2サンプル映像、及び前記第1時刻から前記第2時刻までの時間に対応するすべてのサンプル映像において前記顔面が検出されなかったと判定する段階S520が行われることができる。第2端末150の制御部102は、第2時点(t2)に受信された第1サンプル映像において顔面に対応する部分が検出されなかったと判定することができる。また、第2端末150の制御部102は、第3時点(t3)に受信された第2サンプル映像において顔面に対応する部分が検出されなかったと判定することができる。また、第2端末150の制御部102は、第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信された映像の中からサンプル映像として選択された第5映像312及び第6映像313において顔面が検出されなかったと判定することができる。すなわち、第2端末150の制御部102は、選択されたすべてのサンプル映像の中で、第2時点(t2)から第3時点(t3)までの時間の間に受信されたサンプル映像において顔面が検出されなかったと判定することができる。
【0121】
次に、前記ストリームに含まれた前記複数の映像の中から、前記第1時刻から前記第2時刻までの時間に対応するすべての映像を前記対象映像として選択する段階S531が行われることができる。例えば、第2端末150の制御部102は、第2時点(t2)から第3時点(t3)までの時間の間に受信されたすべての映像を前記対象映像として選択することができる。前記選択された対象映像は、前記第1サンプル映像、前記第2サンプル映像、及び第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信されたサンプル映像を含むことができる。また、前記選択された対象映像は、前記ストリーム内で第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信されたすべての映像の中でサンプル映像として選択されなかったすべての残りの映像を含むことができる。
【0122】
再び
図6を参照すると、前記対象映像を選択する段階S131が行われた後に、それぞれの前記対象映像内で少なくとも一部の対象領域を選択する段階S132が行われることができる。
図13は、実施例に係る選択された対象領域を示す参考図である。
図13に示すように、第2端末150の制御部102は、それぞれの前記対象映像の全体領域を前記対象領域として選択することができる。
【0123】
他の実施例によれば、第2端末150の制御部102は、それぞれの前記対象映像内で皮膚の色に対応する領域を前記対象領域として選択することができる。第2端末150の制御部102は、それぞれの対象映像において皮膚の色に対応する領域を検出することができる。前記皮膚の色は、少なくとも1つ以上の色を指すことができる。それぞれの人が持つ皮膚の色は、互いに異なり得るため、第2端末150の制御部102は、様々な皮膚の色に対して前記皮膚の色に対応する領域を検出することができる。
【0124】
図14は、他の実施例に係る選択された対象領域を示す参考図である。
図14に示すように、第2端末150の制御部102は、対象映像内で皮膚の色を持つ領域を前記対象領域として選択することができる。すなわち、前記選択された対象領域に含まれたそれぞれのピクセル(pixel)は、皮膚の色を持つことができる。
【0125】
第2端末150の制御部102は、それぞれの対象映像内で少なくとも1つ以上の閉曲線を前記対象領域として選択することができる。例えば、
図14に示されたこととは異なり、皮膚の色を持つ領域が互いに隣接するか、離隔された複数の閉曲線を含むことができる。第2端末150の制御部102は、前記複数の閉曲線のすべてを前記対象領域として選択することができる。他の実施例によれば、第2端末150の制御部102は、前記複数の閉曲線の中で最も広い面積を持つ1つ以上の閉曲線を前記対象領域として選択することができる。
【0126】
図15は、また他の実施例に係る選択された対象領域を示す参考図である。
図15に示すように、第2端末150の制御部102は、対象映像内で皮膚の色を持つ領域を含む四角形の領域を前記対象映像として選択することができる。他の実施例によれば、第2端末150の制御部102は、前記四角形の領域の代りに、前記皮膚の色を持つ領域を含む円形、楕円形、または多角形の領域を前記対象映像として選択することができる。
【0127】
第2端末150の制御部102は、それぞれの対象映像内で少なくとも1つ以上の多角形の領域を前記対象領域として選択することができる。例えば、
図15に示されたこととは異なり、皮膚の色を持つ領域が互いに隣接するか、離隔された複数の閉曲線を含むことができる。第2端末150の制御部102は、前記複数の閉曲線のすべてを含む1つの多角形の領域を前記対象領域として選択することができる。他の実施例によれば、第2端末150の制御部102は、複数の多角形の領域を前記対象領域として選択することができる。それぞれの多角形の領域は、前記複数の閉曲線の中で少なくとも1つ以上の閉曲線を含むことができる。また他の実施例によれば、第2端末150の制御部102は、前記複数の閉曲線の中で最も広い面積を持つ1つ以上の閉曲線を含む1つ以上の多角形の領域を前記対象領域として選択することができる。
【0128】
再び
図6を参照すると、次に、それぞれの前記対象映像の前記選択された対象領域に前記映像処理を行う段階S133が行われることができる。
図16は、実施例に係る映像処理が行われた映像である。
図16に示すように、第2端末150の制御部102は、
図15でのように、選択された対象領域を前記対象映像から削除することができる。
【0129】
図17は、他の実施例に係る映像処理が行われた映像である。別の例として、
図17に示すように、第2端末150の制御部102は、前記対象領域にブラー(blur)効果を適用することができる。
図18は、また他の実施例に係る映像処理が行われた映像である。また他の例として、
図18に示すように、第2端末150の制御部102は、前記対象領域にモザイク(mosaic)効果を適用することができる。
図19は、また他の実施例に係る映像処理が行われた映像である。また他の例として、
図19に示すように、第2端末150の制御部102は、前記対象領域を他の映像に置換することができる。
【0130】
また他の例として、第2端末150の制御部102は、前記対象領域の色、明度、コントラスト(contrast)または彩度を調節することができる。また、第2端末150の制御部102は、前記に羅列された映像処理の組み合わせを行うことができる。例えば、第2端末150の制御部102は、前記対象領域にブラー効果を適用し、彩度を下げ、コントラストを下げることができる。
【0131】
再び
図3を参照すると、次に、前記ストリームに含まれた前記複数の映像を表示する段階S140が行われることができる。第2端末150の出力部105は、前記複数の映像を表示することができる。例えば、第2端末150の出力部105に含まれたディスプレイは、1秒当たり20個の映像を連続的に表示することができる。前記複数の映像は、第2端末150の制御部102によって映像処理が行われた少なくとも1つ以上の映像を含むことができる。
【0132】
これにより、第1端末100の使用者と映像通話をする第2端末150の使用者が相手方からの淫らな映像にさらされることを防止することができる。また、第2端末150の使用者が相手方からの映像によって感じ得る性的羞恥心または不快感を防止することができる。また、第1端末100の使用者及び第2端末150の使用者間の健全な映像通話が誘導されることができる。
【0133】
次に、前記映像処理の解除に対する要請を受信する段階S150が行われることができる。例えば、第2端末150の使用者は、不適切な映像にさらされる可能性があることを甘受して、受信された映像の原本を見ることを望むことができる。第2端末150の出力部105に含まれたディスプレイは、前記映像処理を解除するか否かを見るメッセージを出力することができる。例えば、第2端末150の出力部105は、「顔面が検出されていません。原本を見たいならば、ボタンを押して下さい。」のようなメッセージを出力することができる。第2端末150の使用者は、前記メッセージに対する応答として、第2端末150の入力部101に含まれたボタンを押すことができる。すなわち、第2端末150の入力部101は、第2端末150の使用者から前記映像処理の解除に対する要請を受信することができる。
【0134】
次に、前記ストリームに含まれた前記複数の映像の中で前記要請が受信された後に受信された映像を前記映像処理せずに表示する段階S160が行われることができる。第2端末150の制御部102は、前記要請が受信された後に受信された映像において顔面が検出されなかったと判定することができる。第2端末150の制御部102は、前記のような判定にもかかわらず、前記要請が受信された後に受信された映像に映像処理を行わないことができる。第2端末150の出力部105は、前記要請が受信された後に受信された少なくとも1つ以上の映像を前記映像処理せずに表示することができる。
【0135】
図20は、他の実施例に係る映像表示方法が行われる過程を示すフローチャートである。
図20を参照すると、まず、第1端末100との映像通話セッションを樹立する段階S600が行われることができる。第2端末150の通信部104は、第1端末100との映像通話セッションを樹立することができる。
【0136】
次に、前記映像通話セッションを介して前記第1端末100によって撮影された複数の映像を含むストリームを受信する段階S610が行われることができる。第2端末150の通信部104は、前記映像通話セッションを介して第1端末100からストリームを受信することができる。前記ストリームは、複数の映像を含むことができる。
【0137】
次に、前記ストリームに含まれた前記複数の映像を表示する段階S620が行われることができる。第2端末150の出力部105は、受信された前記複数の映像を表示することができる。
【0138】
次に、前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階S630が行われることができる。第2端末150の制御部102は、前記複数の映像の中から少なくとも1つ以上のサンプル映像を選択することができる。第2端末150の制御部102は、選択されたサンプル映像のそれぞれにおいて顔面に対応する部分が存在するか否かを検出することができる。
【0139】
次に、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階S640が行われることができる。第2端末150の制御部102は、少なくとも1つ以上のサンプル映像において顔面が検出されなかったと判定することができる。サンプル映像において顔面が検出されなかった場合、前記複数の映像には、不適切な映像が含まれていることがある。
【0140】
次に、前記映像通話セッションを終了する段階S650が行われることができる。第2端末150の通信部104は、第1端末100との映像通話セッションを終了することができる。これにより、第1端末100の使用者と映像通話をする第2端末150の使用者が相手方からの不適切な映像にさらされることを防止することができる。
【0141】
以上で説明された実施例によれば、相手方と映像通話をする使用者が相手方からの淫らな映像にさらされることが防止されることができる。また、相手方と映像通話をする使用者が相手方からの映像によって感じ得る性的羞恥心または不快感が防止されることができる。また、使用者間の健全な映像通話が誘導されることができる。
【0142】
以上で説明された実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能なコマンドを含む記録媒体の形態でも具現されることができる。コンピュータ読み取り可能な媒体は、コンピュータによってアクセスすることができる任意の使用可能な媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
【0143】
また、コンピュータ読み取り可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ読み取り可能なコマンド、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をすべて含むことができる。通信媒体は、典型的にコンピュータ読み取り可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の送信メカニズムを含み、任意の情報伝達媒体を含むことができる。
【0144】
以上、添付された図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形態で実施できることを理解することができるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであり、限定的ではないことを理解しなければならない。