(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-22
(45)【発行日】2022-10-03
(54)【発明の名称】端末機およびその動作方法
(51)【国際特許分類】
H04N 7/14 20060101AFI20220926BHJP
H04M 1/00 20060101ALI20220926BHJP
G06F 3/01 20060101ALI20220926BHJP
【FI】
H04N7/14 110
H04M1/00 R
G06F3/01 570
(21)【出願番号】P 2021013320
(22)【出願日】2021-01-29
【審査請求日】2021-01-29
(31)【優先権主張番号】10-2020-0012233
(32)【優先日】2020-01-31
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519130063
【氏名又は名称】ハイパーコネクト インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】サンギル アン
(72)【発明者】
【氏名】カンサン リ
【審査官】大西 宏
(56)【参考文献】
【文献】特開2011-082694(JP,A)
【文献】特開2011-205243(JP,A)
【文献】特開2012-054897(JP,A)
【文献】特開2012-146209(JP,A)
【文献】特表2013-531923(JP,A)
【文献】特開2016-122975(JP,A)
【文献】特開2020-010158(JP,A)
【文献】特表2020-500488(JP,A)
【文献】国際公開第2018/194243(WO,A1)
【文献】国際公開第2018/221824(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 - 7/173
H04N 7/20 - 7/56
H04N 21/00 -21/858
H04L 51/00 -51/58
H04L 67/00 -67/75
H04M 1/00
H04M 1/24 - 1/82
H04M 99/00
G06F 3/01
G06F 3/048- 3/0489
(57)【特許請求の範囲】
【請求項1】
第1端末機および第2端末機の間にビデオ通話セッションを樹立する段階と;
第1ユーザに対応する前記第1端末機から獲得した第1映像および第1音のうちの少なくとも1つを前記第2端末機に伝送する段階と;
第2ユーザに対応する前記第2端末機で獲得された第2映像および第2音のうちの少なくとも1つを前記第1端末機で受信する段階と;
前記ビデオ通話セッション中に前記第1端末機が特定イベントを検出する段階
であって、前記特定イベントは、
前記第1端末機が任意の方向に臨界角速度を超過する角速度で傾くイベント、
前記第1端末機で獲得する前記第1映像において臨界速度を超過する速度で前記第1ユーザの顔が消えるイベント、及び、
前記第1端末機が任意の方向に臨界角度を超過して傾くイベント、
のうちの少なくとも1つを含む、特定イベントを検出する段階と;
前記特定イベントの検出に対応して前記第1端末機で
、前記特定イベントが検出された後に獲得される前記第1映像または前記第1音に不適切な要素が含まれているかを
、前記不適切な要素が特定映像又は音に含まれているか否かについての分類情報を学習した分類モデルを用いて、判断する段階と;
前記判断結果によって、前記第1端末機で前記第1映像または前記第1音の伝送を中止する段階と;を含むビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
【請求項2】
前記第1端末機が前記第1映像または前記第1音の伝送を中止する場合、
第2端末機で前記第1映像の代わりに代替映像が表示される段階をさらに含む、請求項1に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
【請求項3】
前記第1端末機が前記第1映像または前記第1音の伝送を中止した後に前記第1端末機で獲得される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングする段階と;
前記モニタリング
の結果、前記映像または音に不適切な要素が含まれていない場合、前記第1端末機で獲得される映像または音の伝送を再開する段階と;をさらに含む、請求項1に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
【請求項4】
前記特定イベントは、第1特定イベントであり、
前記第1端末機が前記第1映像または前記第1音の伝送を中止した後に前記第1端末機が第2特定イベントを検出する段階と;
前記第2特定イベントの検出に対応して前記第1端末機で獲得される映像または音に不適切な要素が含まれているかを判断する段階と;
前記第2特定イベントが検出された後に前記第1端末機で獲得される映像または音に前記不適切な要素が含まれていない場合、前記第1端末機で生成される映像または音の伝送を再開する段階と;をさらに含む、請求項1に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
【請求項5】
請求項1~
4のいずれか1項に記載のアプリケーションに対するプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項6】
第1ユーザに関連した第1映像および第1音のうちの少なくとも1つを受信する入出力インターフェースと;
ビデオ通話セッションを介して、前記第1映像および前記第1音のうちの少なくとも1つを相手の端末機に伝送し、前記相手の端末機により獲得される第2映像または第2音を受信する通信インターフェースと;
前記第1映像および前記第2映像を表示するディスプレイと;
前記ビデオ通話セッション中に特定イベントの検出
し、前記特定イベントに対応して前記第1映像または前記第1音に不適切な要素が含まれているかを判断し、前記判断結果によって、前記第1映像または前記第1音の伝送を中止するプロセッサと;を含
む端末機であって、
特定イベントを検出することは、
前記入出力インターフェース、前記通信インターフェース、前記ディスプレイ及び前記プロセッサを含む前記端末機が、任意の方向に臨界角速度を超過する角速度で傾くか否かを検出すること、
前記入出力インターフェース、前記通信インターフェース、前記ディスプレイ及び前記プロセッサを含む前記端末機によって獲得される前記第1映像において臨界速度を超過する速度で前記第1ユーザの顔が消えたか否かを検出すること、及び
前記入出力インターフェース、前記通信インターフェース、前記ディスプレイ及び前記プロセッサを含む前記端末機が、任意の方向に臨界角度を超過して傾いているか否かを検出すること、
の少なくとも1つを含み、
不適切な要素を判断することは、前記特定イベントが検出された後に獲得される前記第1映像または前記第1音に不適切な要素が含まれているかを、前記不適切な要素が特定映像又は音に含まれているか否かについての分類情報を学習した分類モデルを用いて、判断することを含む、
端末機。
【請求項7】
前記プロセッサは、
前記第1映像または前記第1音の伝送を中止した後に受信される映像または音に前記不適切な要素が含まれているかを所定の時間間隔でモニタリングし、
前記モニタリング
の結果、前記不適切な要素が発見されない場合、前記映像または前記音の伝送を再開する、請求項
6に記載の端末機。
【請求項8】
前記特定イベントは、第1特定イベントであり、
前記プロセッサは、
前記第1映像または前記第1音の伝送を中止した後に第2特定イベントを検出し、
前記第2特定イベントが検出されると、前記第2特定イベントが検出された後に受信される映像または音に不適切な要素が含まれているかを判断し、
前記不適切な要素が含まれていない場合、前記映像または前記音の伝送を再開する、請求項
6に記載の端末機。
【請求項9】
前記プロセッサは、
前記特定イベントが検出される前に、第1周期毎に前記第1映像または前記第1音に不適切な要素が含まれているかを判断し、および
前記特定イベントが検出されると、前記特定イベントの検出に対応して前記第1映像または前記第1音に不適切な要素が含まれているかを判断する、請求項
6に記載の端末機。
【請求項10】
前記プロセッサは、
前記特定イベントが検出されると、指定された時間の間に、第2周期毎に前記第1映像または前記第1音に不適切な要素が含まれているかを判断する、請求項
9に記載の端末機。
【請求項11】
前記不適切な要素が含まれているかを判断する段階は、
前記特定イベントを検出する前に、第1周期毎に前記第1映像または前記第1音に前記不適切な要素が含まれているかを判断する段階;および
前記特定イベントを検出すると、第2周期毎に前記第1映像または前記第1音に前記不適切な要素が含まれているかを判断する段階を含む、請求項1に記載のビデオ通話サービスを提供する方法を行うようにするコンピュータ読み取り可能な保存媒体に保存されたアプリケーション。
【発明の詳細な説明】
【技術分野】
【0001】
記載された実施形態は、相手とビデオ通話をするユーザが相手からの不適切な映像の露出にさらされるのを防止できる端末機およびその動作方法に関する。
【背景技術】
【0002】
通信技術が発展し、電子装置が小型化されるに伴い、個人用端末機が一般消費者に広く普及されている。特に最近ではスマートフォンまたはスマートタブレットのような携帯用個人端末機が広く普及されている。端末機の大部分は、通信機能を含んでいる。ユーザは、端末機を用いてインターネットで検索を行ったり他のユーザとメッセージを交換することができる。
【0003】
また、小型カメラ技術、小型マイク技術、小型ディスプレイ技術および小型スピーカー技術の発展に伴い、スマートフォンのような大部分の端末機には、カメラ、マイク、ディスプレイおよびスピーカーが含まれている。ユーザは、端末機を用いて音声を録音したり音声が含まれた動画を撮影することができる。ユーザは、端末機に含まれたスピーカーを介して前記録音された音声を確認したりディスプレイを介して撮影された動画を確認することができる。
【0004】
また、ユーザは、端末機の通信機能を用いて録音された音声または前記撮影された動画を他のユーザと共有することができる。ユーザは、以前に録音された音声または以前に撮影された動画を他のユーザに伝送することができる。また、ユーザは、端末機により現在録音されている音声または現在撮影されている動画をリアルタイムで他のユーザに伝送することができる。
【0005】
同時に、他のユーザは、自分の端末により現在録音されている音声または現在撮影されている動画をリアルタイムでユーザに伝送することができる。ユーザの端末機に含まれたディスプレイは、ユーザの端末機により現在撮影されている動画および他のユーザの端末機により現在撮影されている動画を同時に表示することができる。また、ユーザおよび他のユーザは、各自の端末を用いて互いにビデオ通話(video call)をすることができる。
【0006】
ユーザが相手と互いにビデオ通話をするとき、ユーザは、相手からの不適切な要素を含む映像(例:淫らな映像)の露出にさらされることがある。例えば、相手の端末機により撮影された不適切な要素を含む映像(例:相手の真っ裸になった身体の映像)がビデオ通話セッションを介してユーザの端末機に受信されることがある。ユーザの端末機が受信された映像を表示することによって、ユーザは、不適切な要素を含む映像(例:淫らな映像)の露出にさらされることがある。ユーザが自分の願わない映像の露出にさらされた場合、ユーザは、性的羞恥心または不快さを感じることができる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
記載された実施形態によれば、相手とビデオ通話をするユーザが相手からの不適切な要素を含む映像(例:淫らな映像)の露出にさらされるのを防止できる端末機およびその動作方法が提供され得る。
【0008】
また、相手とビデオ通話をするユーザが相手からの映像により感じることができる性的羞恥心または不快さを防止できる端末機およびその動作方法が提供され得る。
【0009】
また、ユーザ間の健全なビデオ通話を誘導できる端末機およびその動作方法が提供され得る。
【課題を解決するための手段】
【0010】
一開示により、コンピュータ読み取り可能な保存媒体に保存されたアプリケーションを提供し、アプリケーションは、
第1端末機および第2端末機の間にビデオ通話セッションを確立する段階と;第1ユーザに対応する前記第1端末機から獲得した第1映像および第1音のうちの少なくとも1つを前記第2端末機に伝送する段階と;第2ユーザーに対応する前記第2端末機で獲得された第2映像および第2音のうちの少なくとも1つを前記第1端末機で受信する段階と;前記ビデオ通話セッション中に前記第1端末機が特定イベントを検出する段階と;前記特定イベントの検出に対応して、前記第1端末機で前記第1映像または前記第1音に不適切な要素が含まれているか否かを判断する段階と;前記判断結果によって前記第1端末機で前記第1映像または前記第1音の伝送を停止する段階と;を含むことができる。
【0011】
例えば、特定イベントは、第1端末機が任意の方向に臨界角速度を超過する角速度で傾くイベントを含むことができる。
【0012】
例えば、第1端末機が第1映像または第1音に不適切な要素が含まれているかを判断する段階は、映像または音と不適切な要素の相関関係を学習した分類モデルを用いて特定イベントが検出された後に獲得される第1映像または第1音に不適切な要素が含まれているかを判断することができる。
【0013】
例えば、特定イベントは、第1端末機で獲得する第1映像において臨界速度を超過する速度で第1ユーザの顔が消えるイベントを含むことができる。
【0014】
例えば、アプリケーションは、第1端末機が第1映像または第1音の伝送を中止する場合、第2端末機で第1映像の代わりに代替映像が表示される段階をさらに含むことができる。
【0015】
例えば、アプリケーションは、第1端末機が第1映像または第1音の伝送を中止した後に、第1端末機で獲得される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングする段階と、当該モニタリング結果、映像または音に不適切な要素が発見されない場合、第1端末機で生成される映像または音の伝送を再開する段階と、をさらに含むことができる。
【0016】
例えば、特定イベントは、第1特定イベントであり、アプリケーションは、第1端末機が第1映像または第1音の伝送を中止した後に、第1端末機が第2特定イベントを検出する段階と、第2特定イベントの検出に対応して第1端末機で獲得される映像または音に不適切な要素が含まれているかを判断する段階と、第2特定イベントが検出された後に、第1端末機で獲得される映像または音に不適切な要素が含まれていない場合、第1端末機で生成される映像または音の伝送を再開する段階と、をさらに含むことができる。
【0017】
例えば、特定イベントは、第1端末機が任意の方向に臨界角度を超過して傾くイベントを含むことができる。
【0018】
例えば、不適切な要素が含まれているかを判断する段階は、イベントを検出する前に、第1周期毎に第1映像または第1音に不適切な要素が含まれているかを判断する段階と、特定イベントを検出すると、第2周期毎に第1映像または第1音に不適切な要素が含まれているかを判断する段階と、を含むことができる。
【0019】
本発明の実施形態による端末機は、第1ユーザに関連した第1映像および第1音のうちの少なくとも1つを受信する入出力インターフェースと、ビデオ通話セッションを介して、第1映像および第1音のうちの少なくとも1つを相手の端末機に伝送し、相手の端末機により獲得される第2映像または第2音を受信する通信インターフェースと、第1映像および第2映像を表示するディスプレイと、ビデオ通話セッション中に特定イベントに対応して第1映像または第1音に不適切な要素が含まれているかを判断し、当該判断結果によって、第1映像または第1音の伝送を中止するプロセッサと、を含むことができる。
【0020】
例えば、プロセッサは、端末機が任意の方向に臨界角速度を超過する角速度で傾く場合および任意の方向に臨界角度を超過して傾く場合のうちの少なくとも1つの場合に、特定イベントを検出することができる。
【0021】
例えば、プロセッサは、映像または音と不適切な要素との相関関係を学習した分類モデルを用いて特定イベントが検出された後に受信される第1映像または第1音に不適切な要素が含まれているかを判断することができる。
【0022】
例えば、プロセッサは、第1映像または第1音の伝送を中止した後に受信される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングし、当該モニタリング結果、不適切な要素が発見されない場合、映像または音の伝送を再開することができる。
【0023】
例えば、特定イベントは、第1特定イベントであり、プロセッサは、第1映像または第1音の伝送を中止した後に第2特定イベントを検出し、第2特定イベントが検出されると、第2特定イベントが検出された後に受信される映像および音に不適切な要素が含まれているかを判断し、不適切な要素が含まれていない場合、映像または音の伝送を再開することができる。
【0024】
例えば、プロセッサは、特定イベントが検出される前に、第1周期毎に第1映像または第1音に不適切な要素が含まれているかを判断し、特定イベントが検出されると、特定イベントの検出に対応して第1映像または第1音に不適切な要素が含まれているかを判断することができる。
例えば、プロセッサは、特定イベントが検出されると、指定された時間の間に、第2周期毎に第1映像または第1音に不適切な要素が含まれているかを判断することができる。
【発明の効果】
【0025】
本発明は、ビデオ通話をするユーザが相手からの不適切な要素を含む映像(例:淫らな映像)の露出にさらされるのを防止できる端末機およびその動作方法に関する。
【0026】
また、本発明は、相手とビデオ通話をするユーザが相手からの映像により感じることができる性的羞恥心または不快さを防止できる端末機およびその動作方法に関する。
【0027】
また、本発明は、ユーザ間の健全なビデオ通話を誘導できる端末機およびその動作方法に関する。
【図面の簡単な説明】
【0028】
【
図1】ビデオ通話サービスが提供される環境を説明するための図である。
【
図2】本発明の実施形態による端末機の構成を示すブロック図である。
【
図3】本発明の実施形態による端末機の傾きを示すための図である。
【
図4】本発明の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
【
図5】本発明の他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
【
図6】本発明のさらに他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
【
図7】本発明の実施形態による端末機の動作方法を示すフローチャートである。
【
図8】本発明の他の実施形態による端末機の動作方法を示すフローチャートである。
【発明を実施するための形態】
【0029】
以下、添付の図面を参照して本発明の実施形態について本発明の属する技術分野における通常の知識を有する者が容易に実施することができるように詳細に説明する。しかしながら、本発明は、様々な異なる形態で具現され得、以下で開示される実施形態に限定されない。また、図面において本発明を明確に開示するために本発明と関係ない部分は省略し、図面において同一または類似の符号は、同一または類似の構成要素を示す。
【0030】
本発明の目的および効果は、下記の説明により自然に理解されるか、さらに明確になり得、下記の記載だけで本発明の目的および効果が制限されるものではない。
【0031】
以下、本発明の好ましい実施形態を添付の図面を参照して詳細に説明すれば、次の通りである。
【0032】
図1は、ビデオ通話サービスが提供される環境を説明するための図である。
【0033】
ビデオ通話サービスは、複数のユーザが各自の端末機を用いて自分の映像を相手に伝送し、相手の映像を受信することによって、意思を交換することができるサービスを意味する。ビデオ通話サービスを用いるユーザは、各自の端末機を介して、映像と音声を交換することができ、チャット機能を用いてテキストを交換することもできる。ビデオ通話サービスを用いようとするユーザは、相手を直接指定したり、ビデオ通話サービスを提供するサーバーにおいてランダムにまたは所定の方式によって相手を指定することによって、相手とビデオ通話サービスを用いることができる。
【0034】
図1は、本発明の実施形態による電子装置が動作する環境を示すネットワーク構成図である。
図1を参照すると、複数の電子装置100、200が動作する環境は、サーバー300および複数の電子装置100、200を含むことができる。例えば、複数の電子装置100、200が動作する環境は、サーバー300を含まなくてもよい。
【0035】
複数の電子装置100、200それぞれは、サーバー300を介して連結され得る。本発明の説明の便宜のために、
図1に2つの電子装置が示されている。しかしながら、電子装置の個数は、2つに限定されない。複数の電子装置100、200は、それぞれデスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェラブルデバイス(wearable device)、または携帯用電子機器のうちの1つとして具現され得る。複数の電子装置100、200は、プログラムまたはアプリケーションを実行することができる。例えば、複数の電子装置100、200のうち少なくとも2つの電子装置は、サーバー300によりマッチングされ得る。そして、マッチングされた電子装置は、互いにビデオ通話を行うことができる。
【0036】
複数の電子装置100、200それぞれは、通信網に連結され得る。複数の電子装置100、200それぞれは、通信網を介して外部の他の装置と互いに連結され得る。複数の電子装置100、200それぞれは、互いに連結された他の装置にデータを伝送したり、他の装置からデータを受信することができる。
【0037】
複数の電子装置100、200それぞれと連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、3G、LTE、またはLTE-A等のような移動通信網を含むことができる。
【0038】
通信網は、ワイファイ(Wi-Fi)、UMTS/GPRS、またはイーサネット(Ethernet)等のような有線または無線通信網を含むことができる。通信網は、磁気セキュア伝送(MST,Magnetic Secure Transmission)、RFID(Radio Frequency IDentification)、NFC(Near Field Communication)、ジグビー(ZigBee)、ジーウェイブ(Z-Wave)、ブルートゥース(Bluetooth)、低電力ブルートゥース(BLE,Bluetooth Low Energy)、または赤外線通信(IR,InfraRed communication)等のような近距離通信網を含むことができる。通信網は、ローカルエリアネットワーク(LAN,Local Area Network)、メトロポリタンエリアネットワーク(MAN,Metropolitan Area Network)、またはワイドエリアネットワーク(WAN,Wide Area Network)等を含むことができる。
【0039】
互いに連結された第1電子装置100および第2電子装置200は、互いにメッセージ、ファイル、音(例:音声)データ、映像、または動画等を交換することができる。第2電子装置200は、第1電子装置100と音声通話セッションまたはビデオ通話セッションを樹立することができる。ビデオ通話セッションは、例えば、TCP(Transmission Control Protocol)、UDP(User Datagram Protocol)、またはWebRTC(Web Real-Time Communication)等を用いて樹立され得る。第1電子装置100のユーザおよび第2電子装置200のユーザは、互いに音声通話またはビデオ通話をすることができる。
【0040】
ビデオ通話セッションは、第1電子装置100および第2電子装置200の間に直接樹立され得る。他の実施形態によれば、少なくとも1つ以上の他の装置を経由して第1電子装置100および第2電子装置200の間にビデオ通話セッションが樹立され得る。例えば、ビデオ通話セッションは、第1電子装置100とサーバー300との間に樹立されたセッション、およびサーバー300と第2電子装置200との間に樹立されたセッションを含むことができる。
【0041】
サーバー300は、複数の電子装置100、200が互いに通信を行うことができるように連結させることができる。サーバー300は、複数の電子装置100、200それぞれからマッチ要請を受信することができる。マッチ要請に応じて、サーバー300は、複数の電子装置100、200をマッチングすることができる。
【0042】
以下で、発明の説明の便宜のために、電子装置および端末機は、同じ意味で使用され得る。そして、複数の電子装置100、200およびサーバー300の通信方法は、
図2~
図8を参照して説明する。
【0043】
図2は、本発明の実施形態による端末機の構成を示すブロック図である。
【0044】
図2を参照すると、第1端末機100は、入出力インターフェース110、ジャイロセンサー(Gyro Sensor)120、メモリ130、および通信インターフェース140を含むことができる。
図1を参照すると、第2端末機200は、第1端末機100と類似または同一の構成で具現され得る。
【0045】
入出力インターフェース110は、外部から信号を受信することができる。入出力インターフェース110は、第1端末機100のユーザから信号を受信することができる。また、入出力インターフェース110は、外部装置から信号を受信することができる。
【0046】
入出力インターフェース110は、カメラ111およびディスプレイ112を含むことができる。また、入出力インターフェース110は、マイク、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、またはその他入力装置等を含むことができる。入出力インターフェース110は、入出力インターフェース110に含まれたマイクを介して外部から音(例:音声)を受信することができる。
【0047】
また、入出力インターフェース110は、入出力インターフェース110に含まれたカメラ111から撮影されたイメージまたは映像を受信したり、端末機100のユーザからジェスチャーを受信することができる。いくつかの実施形態において、カメラ111は、第1端末機100から撮影される映像を受信することができる。第1端末機100から撮影される映像には、第1端末機100のユーザの映像が含まれ得る。第1端末機100から受信された映像は、第1端末機100のユーザの映像に限定されず、第1端末機100で撮影された多様な映像を含むことができる。
【0048】
入出力インターフェース110は、ディスプレイ112を含むことができる。例えば、ディスプレイ112は、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)、またはPDP(Plasma Display Panel)等の平板表示装置を含むことができる。ディスプレイ112は、曲面ディスプレイまたはフレキシブルディスプレイ(flexible display)を含むことができる。ディスプレイ112は、タッチスクリーンを含むことができる。ディスプレイ112がタッチスクリーンを含む場合、ディスプレイ112は、第1端末機100のユーザからタッチ入力を受信することができる。
【0049】
ディスプレイ112は、データを表示することができる。または、ディスプレイ112は、プロセッサ150により行われた演算結果を表示することができる。または、ディスプレイ112は、メモリ130に保存されたデータを表示することができる。ディスプレイ112は、入出力インターフェース110を介して受信されるデータまたは通信インターフェース140により受信されたデータを表示することができる。
【0050】
ディスプレイ112は、画面を表示することができる。ディスプレイ112は、ユーザインターフェースを表示することができる。ディスプレイ112は、ユーザからの入力に対する応答として他の画面を表示することができる。
【0051】
ジャイロセンサー120は、ジャイロスコープ(Gyroscope)を用いて物体の動きを感知するセンサー、慣性センサー、加速度センサーを含むことができる。ジャイロスコープには、機械式ジャイロスコープ、リングレーザージャイロスコープ、光ファイバージャイロスコープ等がある。ジャイロセンサー120は、第1端末機100の動きを感知して、第1端末機100の制御のための信号を生成することができる。
【0052】
いくつかの実施形態において、ジャイロセンサー120で臨界角速度より速く変わる角速度が感知される場合、ジャイロセンサー120は、特定イベントを生成することができる。より具体的に、ジャイロセンサー120で任意の方向に向かいつつ臨界角速度より速く変わる角速度が感知される場合、ジャイロセンサー120は、特定イベントを生成することができる。他の実施形態において、プロセッサ150は、ジャイロセンサー120を用いて臨界角度を超過する角度で第1端末機100が傾く場合、特定イベントを生成(または検出)することができる。さらに他の実施形態において、プロセッサ150は、前記ジャイロセンサー120を用いて第1端末機100が臨界角度を超過する角度で臨界角速度より速く傾く場合、特定イベントを生成(または検出)することができる。
【0053】
メモリ130は、データを保存することができる。メモリ130は、入出力インターフェース110から受信された音データ、イメージデータまたはユーザのプロフィール情報を保存することができる。そして、メモリ130は、プロセッサ150により行われた演算結果を保存することができる。例えば、メモリ130は、プロセッサ150によりエンコードされた音を保存することができる。メモリ130は、通信インターフェース140を介して外部に出力するデータを保存したり、通信インターフェース140を介して外部から受信されたデータを保存することができる。
【0054】
メモリ130は、ソフトウェアまたはプログラムを保存することができる。例えば、メモリ130は、アプリケーション、アプリケーションプログラミングインターフェース(API)等のようなプログラムおよび多様な種類のデータを保存することができる。メモリ130は、プロセッサ150により実行可能な命令語を保存することができる。
【0055】
メモリ130は、揮発性メモリまたは非揮発性メモリのうち少なくとも1つを含むことができる。メモリ130は、例えば、フラッシュ(flash)メモリ、ROM(Read Only Memory)、RAM(Random Access Memory)、EEROM(Electrically Erasable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、ハードディスクドライブ(HDD,Hard Disk Drive)、またはレジスター(register)のうち少なくとも1つを含むことができる。メモリ130は、例えば、ファイルシステム、データベース、またはエンベデッドデータベース等を含むことができる。
【0056】
通信インターフェース140は、端末機100の外部にデータを出力したり外部からデータを受信することができる。通信インターフェース140は、サーバー400または外部装置にデータを出力することができる。通信インターフェース140は、サーバー400および外部装置からデータを受信することができる。通信インターフェース140は、プロセッサ150により行われた演算結果を外部に出力することができる。
【0057】
いくつかの実施形態において、第1端末機100のプロセッサ150でビデオ通話セッションを提供するアプリケーションが実行される場合、通信インターフェース140は、第2端末機200から映像または音を受信することができる。
【0058】
また、第1端末機100のプロセッサ150でビデオ通話セッションを提供するアプリケーションが実行される場合、通信インターフェース140は、第1端末機100のユーザから撮影された映像または第1端末機100のユーザの音声のような映像または音を第2端末機200に伝送することができる。
【0059】
通信インターフェース140は、例えば、3Gモジュール、LTEモジュール、LTE-Aモジュール、Wi-Fiモジュール、ワイギグ(WiGig)モジュール、UWB(Ultra Wide Band)モジュール、またはLANカード等のような遠距離用ネットワークインターフェースを含むことができる。また、通信インターフェース140は、磁気セキュア伝送(MST)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビー(ZigBee)モジュール、Z-Waveモジュール、または赤外線モジュール等のような近距離用ネットワークインターフェースを含むことができる。また、通信インターフェース140は、その他ネットワークインターフェースを含むことができる。
【0060】
プロセッサ150またはプロセッサ150に含まれた構成要素それぞれは、ソフトウェア(software)またはハードウェア(hardware)の形態で具現され得る。例示的に、ソフトウェアは、機械コード、ファームウェアコード(firmware code)、エンベデッドコード(embedded code)、およびアプリケーション(application)等のようなプログラム実行命令語にて具現され得る。ハードウェアは、電気電子回路、プロセッサ、コンピュータ、圧力センサー、慣性センサー、MEMS(microelectromechanical system)、受動素子、またはそれらの組合せでありうる。
【0061】
プロセッサ150は、端末機100の動作を制御することができる。プロセッサ150は、端末機100に含まれたそれぞれの構成要素と互いに連結され得、端末機100に含まれたそれぞれの構成要素の動作を制御することができる。プロセッサ150は、入出力インターフェース110により受信された信号に対する応答として、端末機100の動作を制御することができる。
【0062】
いくつかの実施形態において、第1端末機100のプロセッサ150でビデオ通話セッションを提供するアプリケーションが実行される場合、プロセッサ150は、ビデオ通話中に特定イベントの発生有無を感知することができる。
【0063】
いくつかの実施形態において、プロセッサ150は、ジャイロセンサー120から特定イベントを受信することができる。他の実施形態として、プロセッサ150は、カメラ111を介して受信される第1映像で特定イベントを感知することができる。例えば、第1映像で第1ユーザの顔が基準時間以内に消える場合、特定イベントとして感知することができる。
【0064】
特定イベントが受信される場合、プロセッサ150は、入出力インターフェース110を介して受信される第1端末機100のユーザの映像(例えば:第1映像および/または第1音)を認識することができる。プロセッサ150は、第1端末機100のユーザの映像(例えば:第1映像および/または第1音)を検閲することができる。
【0065】
いくつかの実施形態において、プロセッサ150は、準備された学習モデルを用いて特定イベントが発生した後に受信される第1端末機100のユーザの映像を検閲することができる。他の実施形態において、プロセッサ150は、準備された学習モデルを用いて第1端末機100のユーザの映像を構成する1つのフレームを無作為に選択して検閲することができる。
【0066】
例えば、プロセッサ150は、特定イベントが検出されていない状態では、指定された時間間隔で(例えば、2秒ごとに)ユーザーの映像を検閲して、ユーザーの映像に不適切な要素が含まれているか否かをモニタリングすることができる。例えば、プロセッサ150は、ジャイロセンサー120またはカメラ111を用いて特定イベントの検出可否を周期的にまたは連続的に確認することができる。プロセッサ150は、特定イベントが検出されると、指定されたモニタリング周期に到来しなくても、即時にユーザーの画像(または音)に不適切な要素の包含有無を検閲することができる。
【0067】
言い換えれば、一実施形態によるプロセッサ150は、第1周期毎にユーザーの映像(例:第1映像および/または第1音)に不適切な要素が含まれているかをモニタリングし、第2周期毎に第1端末機100で特定イベントが検出されるかを確認することができる。この際、第2周期は、第1周期より短くてもよく、連続的な場合を含むこともできる。プロセッサ150は、第2周期毎に特定イベントの検出可否を確認し、特定イベントが検出されると、第1サイクルに至る前であっても、ユーザーの映像に不適切な要素が含まれているか否かをモニタリングすることができる。このような方式で、プロセッサ150は、第1周期毎にユーザーの映像をモニタリングし、モニタリングされていないユーザーの映像の残りの部分に不適切な要素が含まれた場合にも、これを欠落しないように、特定イベントの検出を通じて間接的にモニタリングすることができる。
【0068】
図3は、本発明の実施形態による端末機の傾きを示す図である。
【0069】
図2および
図3を参照すると、ビデオ通話セッション中に第1端末機100が任意の方向に傾くことができる。いくつかの実施形態において、任意の方向は、第1端末機100のディスプレイ112が地面に向かって傾く方向を意味し得る。
【0070】
いくつかの実施形態において、第1端末機100が任意の方向に向かって臨界角速度を超過する角速度で傾く場合、第1端末機100のジャイロセンサー120は、特定イベントを生成することができる。
【0071】
いくつかの実施形態において、第1端末機100が任意の方向に向かって臨界角度を超過して傾く場合、第1端末機100のジャイロセンサー120は、特定イベントを生成することができる。
【0072】
図4は、本発明の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
【0073】
第1端末機100がビデオ通話セッションを提供するアプリケーションを介して第2端末機200とビデオ通話セッションが樹立され得る。第1端末機100および第2端末機200の間にビデオ通話セッションが樹立されると、第1端末機100は、第2端末機200とビデオ通話を行うことができる。
【0074】
ビデオ通話セッションが樹立されると、第1端末機100のディスプレイ112には、カメラ111を介して獲得された第1ユーザの映像11を表示し、通信インターフェース140を介して受信された第2ユーザの映像21を表示することができる。例えば、第1ユーザの映像11は、第1ユーザの顔を含む上半身に対する映像でありうる。そして、第2ユーザの映像21は、第2ユーザの顔を含む上半身に対する映像でありうる。
【0075】
いくつかの実施形態において、
図3を参照して説明したように、ビデオ通話セッション中に第1端末機100が任意の方向に傾くことができる。いくつかの実施形態において、任意の方向は、第1端末機100のディスプレイ112が地面に向かって傾く方向を意味し得る。
【0076】
いくつかの実施形態において、第1端末機100が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、および/または任意の方向に向かって臨界角度を超過して傾く場合、第1端末機100のジャイロセンサー120は、このような傾きを感知することができる。
【0077】
第1端末機100が任意の方向に傾くと、カメラ111には、第1ユーザの顔を含む上半身に対応する映像11の代わりに、第1ユーザの下半身に対応する映像12が入力され得る。したがって、ディスプレイ112には、第1ユーザの下半身に対応する映像12が表示され得る。
【0078】
図5は、本発明の他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
【0079】
いくつかの実施形態において、第1端末機100が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、任意の方向に向かって臨界角度を超過して傾く場合、第1端末機100のジャイロセンサー120は、このような傾きを感知することができる。
【0080】
第1端末機100が任意の方向に傾くと、ディスプレイ112で第1ユーザの上半身に対応する映像11が表示されず、第1ユーザの周辺映像13が表示され得る。いくつかの実施形態において、第1ユーザの周辺映像13は、第1ユーザの下半身に対応する映像12も含むことができる。
【0081】
他の実施形態において、第1ユーザの上半身に対応する映像11が基準時間以内にカメラ111を介して受信されない場合、第1端末機100のプロセッサ150は、特定イベントが発生したものと判断することができる。このように、第1端末機100のプロセッサ150は、カメラ111を介して獲得する第1映像に所定類型の客体(例:顔、上半身など)が含まれているか否か、および含まれるかまたは含まれていない時間情報に基づいて、特定イベントの発生有無を判断することができる。
【0082】
図4および
図5を参照して説明したように、第1端末機100が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、および/または任意の方向に向かって臨界角度を超過して傾く場合、第1端末機100のジャイロセンサー120は、特定のイベントを感知することができる。または、指定された類型の客体(例:第1ユーザの上半身)に対応する映像11が基準時間以内にカメラ111を介して受信されない場合、第1端末機100のプロセッサ150は、特定イベントが発生したものと判断することができる。
【0083】
特定イベントが発生すると、プロセッサ150は、カメラ111から受信される映像に不適切な要素が含まれているかを判断することができる。いくつかの実施形態において、不適切な要素を含む映像は、
図4を通じて説明されたような第1ユーザの下半身に対応する映像12を含むことができる。
【0084】
一実施形態において、プロセッサ150は、イメージに不適切な要素が含まれているか否かに対する分類情報を用いて学習された分類モデルを準備することができる。プロセッサ150は、分類モデルを用いて特定イベントが発生した後にカメラ111に受信される映像が不適切な要素を含むか否かを予測することができる。例えば、前記分類モデルは、特定イベントの感知に関連した要素(例:第1端末機の傾き関連角速度および/または角度、第1映像に特定類型の客体の包含有無)と、前記不適切な要素の相関関係に基づいて学習された学習モデルを含むことができる。
【0085】
他の実施形態において、特定イベントが発生すると、プロセッサ150は、第1音(例:ユーザの音声)に不適切な要素が含まれているかを判断することができる。不適切な要素を含む音(例:音声)は、悪口、脅迫性(intimidatory)発言、嫌悪性発言、反社会的発言、反人類的発言、性的な発言、犯罪性(criminality)発言または侮辱的な発言のうち少なくとも1つに対応することができる。
【0086】
特定イベントが発生し、プロセッサ150が映像または音が不適切な要素を含んでいるものと判断すると、第1ユーザの映像および音のうち少なくとも1つの伝送を中止することができる。
【0087】
図6は、本発明のさらに他の実施形態によるビデオ通話セッション中の端末機のディスプレイの変化を示すための図である。
【0088】
第2端末機200がビデオ通話サービスを提供するアプリケーションを介して第1端末機100とビデオ通話セッションが樹立され得る。第1端末機100および第2端末機200の間にビデオ通話セッションが樹立されると、第2端末機200は、第1端末機100とビデオ通話を行うことができる。
【0089】
ビデオ通話セッションが樹立されると、第2端末機100のディスプレイ212には、第2ユーザの映像21を表示し、第2端末機200から受信された第1ユーザの映像11を表示することができる。例えば、第1ユーザの映像11は、第1ユーザの顔を含む上半身に対する映像でありうる。そして、第2ユーザの映像21は、第2ユーザの顔を含む上半身に対する映像でありうる。
【0090】
図4および
図5を参照すると、第1端末機100で特定イベントが感知される場合、 第1端末機100は、第2端末機200に映像および/または音の伝送を中断することができ、第2端末機200は、第1端末機100からの映像および/または音の受信が中断され得る。第1端末機100から映像および音の受信が中断されると、第2端末機200のディスプレイ212は、代替映像13を表示することができる。
【0091】
いくつかの実施形態において、代替映像13は、単色で処理された映像でありうる。または、代替映像13は、第1端末機100から受信された映像にモザイク効果、背景挿入、またはブラー処理を活用して変調処理された映像でありうる。
【0092】
図7は、本発明の実施形態による端末機の動作方法を示すフローチャートである。
【0093】
S110段階で、第1端末機100は、第2端末機とビデオ通話セッションを樹立することができる。第1端末機100がビデオ通話セッションを提供するアプリケーションを介して第2端末機200とビデオ通話セッションが樹立され得る。第1端末機100および第2端末機200の間にビデオ通話セッションが樹立されると、第1端末機100は、第2端末機200とビデオ通話を行うことができる。
【0094】
S120段階で、第1端末機100は、ビデオ通話セッション中に特定イベントを感知することができる。第1端末機100が任意の方向に向かって臨界角速度を超過する角速度で傾いたり、任意の方向に向かって臨界角度を超過して傾く場合、ジャイロセンサー120は、このような変化を特定イベントと感知することができる。
【0095】
または、特定類型の客体(例:第1ユーザの上半身)に対応する映像11が基準時間以内にカメラ111を介して受信されない場合、第1端末機100のプロセッサ150は、特定イベントが発生したものと判断することができる。
【0096】
S130段階で、第1端末機100のプロセッサ150は、特定イベントが発生した後にカメラ111を介してリアルタイムで受信される映像または音に不適切な要素が含まれているかを判断することができる。
【0097】
いくつかの実施形態において、プロセッサ150は、特定イメージ(例:映像および/または音)に不適切な要素が含まれているか否かに関する分類情報を用いて学習された分類モデル(例:機械学習モデル)を準備することができる。プロセッサ150は、前記イメージに不適切な要素が含まれているかに関連した分類情報に基づいて学習された分類モデルを用いて特定イベントが発生した後にカメラ111を介して獲得された映像が不適切な要素を含むか否かを予測することができる。
【0098】
第1端末機100のプロセッサ150は、特定イベントが発生した後にカメラ111に受信される映像が不適切な要素を含むか否かを予測するために、ディープニューラルネットワーク(Deep Neural Network,DNN)、畳み込みニューラルネットワーク(Convolutional Neural Network,CNN)、回帰型ニューラルネットワーク(Recurrent Neural Network,RNN)、R-CNN(Region-based Convolutional Neural Networks)、制限ボルツマンマシン(Restricted Boltzmann Machine,RBM)、ディープビリーフネットワーク(Deep Belief Network,DBN)、またはディープキューネットワーク(Deep Q-Networks)のうち少なくとも1つの技術による学習モデルを活用することができる。
【0099】
他の実施形態によると、分類モデルは、特定イベントの検出に関連したセンシング値(例えば、第1端末機100の傾きに関連した角速度および/または角度、第1映像に指定された客体(例:第1ユーザーの上半身)の包含有無など)とイメージに不適切な要素が含まれるものの間の相関関係に基づいて学習された分類モデルを含むことができる。
【0100】
例えば、プロセッサ150は、前記分類モデルを用いて、特定イベントを検出するための基準を設定したり、第1端末機100でカメラ111を介して獲得した映像(および/または音)に不適切な要素が含まれている否かを判断することができる。
【0101】
他の例を挙げると、プロセッサ150は、特定イベントが検出されると、前記分類モデルを用いて第1端末機100でカメラ111を介して獲得した映像(および/または音)に不適切な要素が含まれているか否かを判断する時点を決定し、判断された時点に対応する映像(および/または音)に不適切な要素が含まれているかを判断することができる。例えば、プロセッサ150は、分類モデルに基づいて特定イベントが発生した後、所定時間(例;0.5秒)以内に獲得した映像(および/または音)に不適切な要素が含まれる可能性が高いと判断することができ、これにより、特定イベントの発生後に、指定された時間の間に生成される映像(及び/または音)に対しては、より頻繁な周期で(または連続的に)不適切な要素の包含有無を確認することができる。
【0102】
S140段階で、第1端末機100のプロセッサ150は、判断結果によって、特定イベントが発生した後、カメラ111を介して受信される映像または音を第2端末機200に伝送することを中止することができる。
【0103】
例えば、特定イベントが発生した後、カメラ111を介して受信される映像または音に不適切な要素が含まれたものと判断される場合、プロセッサ150は、映像または音を第2端末機200に伝送することを中止することができる。または、特定イベントが発生した後、カメラ111を介して受信される映像または音に不適切な要素が含まれていないものと判断される場合、プロセッサ150は、映像または音を第2端末機200に伝送することを維持することができる。
【0104】
すなわち、第1端末機100のプロセッサ150は、特定イベントが発生する前にカメラ111を介して受信される映像または音に不適切な要素が含まれているかを判断するのではなく、特定イベントが発生した後にカメラ111を介して受信される映像または音に不適切な要素が含まれているかを判断することができる。そして、判断結果によって、プロセッサ150は、特定イベントが発生した後にカメラ111を介して受信される映像または音を伝送するか否かを判断することができる。
【0105】
図8は、本発明の他の実施形態による端末機の動作方法を示すフローチャートである。
【0106】
S210段階で、第1端末機100のプロセッサ150は、映像または音の伝送を中止した後にカメラ111に受信される映像または音をモニタリングすることができる。
【0107】
いくつかの実施形態において、プロセッサ150は、映像または音の伝送を中止した後に、映像または音の伝送を中止した後にカメラ111に受信される映像または音に不適切な要素が含まれているかを所定の時間間隔でモニタリングすることができる。
【0108】
または、映像または音の伝送を中止した後に、新しい特定のイベントが発生すると、プロセッサ150は、カメラ111に受信される映像または音に不適切な要素が含まれているかを確認することができる。
【0109】
S220段階で、第1端末機100のプロセッサ150は、モニタリング結果によって第2端末機200への映像伝送を再開することができる。
【0110】
いくつかの実施形態において、プロセッサ150は、映像または音の伝送を中止した後に、カメラ111に受信される映像または音に不適切な要素が含まれていないと判断する場合、第2端末機200への映像伝送を再開することができる。
【0111】
反面、プロセッサ150は、映像または音の伝送を中止した後に、カメラ111に受信される映像または音に不適切な要素が含まれていると判断する場合、第2端末機200への映像伝送を再開しなくてもよい。また、プロセッサ150は、第2端末機200とのビデオ通話セッションを中断することができる。
【0112】
図1~
図8を参照して説明したように、本発明の実施形態による端末機は、ビデオ通話セッション中に不適切な映像または音の露出にさらされるのを防止することができる。
【0113】
本発明の実施形態による端末機は、ビデオ通話セッション中にユーザが相手からの映像により感じることができる性的羞恥心または不快さを防止することができる。
【0114】
本発明の実施形態による端末機は、ユーザ間の健全なビデオ通話を誘導することができる。
【0115】
以上で説明された実施形態は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能な媒体は、コンピュータによりアクセスされ得る任意の可用媒体であり得、揮発性および非揮発性媒体、分離型および非分離型媒体を全部含むことができる。
【0116】
また、コンピュータ読み取り可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他データのような情報の保存のための任意の方法または技術で具現された揮発性および非揮発性、分離型および非分離型媒体を全部含むことができる。通信媒体は、典型的にコンピュータ読み取り可能な命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他データ、またはその他出力メカニズムを含み、任意の情報伝達媒体を含むことができる。
【0117】
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることを理解することができる。したがって、以上で記述した実施形態は、すべての面において例示的なものであり、限定的でないものと理解しなければならない。