特許第6967065号(P6967065)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 資生堂の特許一覧

特許6967065情報処理装置、プログラム、及び、情報処理方法
<>
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000002
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000003
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000004
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000005
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000006
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000007
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000008
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000009
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000010
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000011
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000012
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000013
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000014
  • 特許6967065-情報処理装置、プログラム、及び、情報処理方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6967065
(24)【登録日】2021年10月26日
(45)【発行日】2021年11月17日
(54)【発明の名称】情報処理装置、プログラム、及び、情報処理方法
(51)【国際特許分類】
   H04N 7/14 20060101AFI20211108BHJP
   G06T 1/00 20060101ALI20211108BHJP
【FI】
   H04N7/14 110
   G06T1/00 340A
【請求項の数】12
【全頁数】21
(21)【出願番号】特願2019-504224(P2019-504224)
(86)(22)【出願日】2017年3月9日
(86)【国際出願番号】JP2017009500
(87)【国際公開番号】WO2018163356
(87)【国際公開日】20180913
【審査請求日】2020年3月2日
【新規性喪失の例外の表示】特許法第30条第2項適用 平成28年10月7日、ウェブサイトで公開(https://www.shiseidogroup.jp/news/detail.html?n=00000000002041)
【新規性喪失の例外の表示】特許法第30条第2項適用 平成28年10月7日、ウェブサイトで公開(http://www.shiseidogroup.jp/advertising/special/telebeauty.html)
【新規性喪失の例外の表示】特許法第30条第2項適用 平成28年10月7日、ウェブサイトで公開(http://news.microsoft.com/jajp/2016/10/07/161007telebeauty/#sm.001jsjg551556dtiui811dbfjcbvp)
【新規性喪失の例外の表示】特許法第30条第2項適用 平成28年10月6日、ウェブサイトで公開(https://www.youtube.com/watch?v=Zd47IAhQj74)
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【弁護士】
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【弁理士】
【氏名又は名称】木本 大介
(74)【代理人】
【識別番号】100174850
【弁理士】
【氏名又は名称】大崎 絵美
(72)【発明者】
【氏名】花原 正基
(72)【発明者】
【氏名】▲吉▼川 拓伸
(72)【発明者】
【氏名】高橋 和
(72)【発明者】
【氏名】小助川 雅人
【審査官】 大西 宏
(56)【参考文献】
【文献】 特表2010−529735(JP,A)
【文献】 特開2009−200900(JP,A)
【文献】 特開2004−094917(JP,A)
【文献】 特開2012−138823(JP,A)
【文献】 韓国公開特許第10−2012−0090870(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 − 7/173
H04N 7/20 − 7/56
H04N 21/00 −21/858
H04N 5/222− 5/257
G06T 1/00 − 1/40
G06T 3/00 − 5/50
G06T 9/00 − 9/40
(57)【特許請求の範囲】
【請求項1】
カメラによって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、前記顔を含まない第2動画像と、を認識する手段を備え、
前記第1動画データの輝度を補正する手段を備え、
前記第1動画データにおける前記第2動画像の割合が所定の閾値以上の場合、又は、前記第1動画像の認識に失敗した場合の少なくとも1つの場合に、前記認識された第2動画像を補正する手段を備え、
前記輝度が補正された第1動画データに含まれる第1動画像と、前記補正された第2動画像と、を含む第2動画データを生成する手段を備え、
ビデオ通話アプリケーションに前記第2動画データを提供する手段を備える、
情報処理装置。
【請求項2】
カメラによって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、前記顔を含まない第2動画像と、を認識する手段を備え、
前記認識された第1動画像の輝度を補正する手段を備え、
前記第1動画データにおける前記第2動画像の割合が所定の閾値以上の場合、又は、前記第1動画像の認識に失敗した場合の少なくとも1つの場合に、前記認識された第2動画像を補正する手段を備え、
前記補正された第1動画像と、前記補正された第2動画像と、を含む第2動画データを生成する手段を備え、
ビデオ通話アプリケーションに前記第2動画データを提供する手段を備える、
情報処理装置。
【請求項3】
前記輝度を補正する手段は、前記認識された第1動画像の輝度が所定範囲に含まれるように、前記輝度を補正する、請求項1又は2に記載の情報処理装置。
【請求項4】
前記第2動画像を補正する手段は、前記第2動画像の視認性が低下するように、前記第2動画像を補正する、請求項1〜請求項3の何れかに記載の情報処理装置。
【請求項5】
複数のメークアップパターンの何れかを選択する手段を備え、
前記選択されたメークアップパターンを用いて前記第1動画像を補正する手段を備え、
前記第2動画データを生成する手段は、前記補正された第1動画像と、前記補正された第2動画像と、を含む第2動画データを生成する、請求項1〜請求項4の何れかに記載の情報処理装置。
【請求項6】
前記選択する手段は、前記ユーザが指定したメークアップパターン、又は、前記ユーザに関するユーザ情報に応じたメークアップパターンを選択する、請求項5に記載の情報処理装置。
【請求項7】
前記ユーザによる補正パラメータを変更するための指示に応じて、各補正する手段の補正パラメータを変更する手段を備える、請求項1〜請求項6の何れかに記載の情報処理装置。
【請求項8】
前記変更された補正パラメータを、前記ユーザを識別するユーザIDと関連付けて記憶装置に記憶する手段を備える、請求項7に記載の情報処理装置。
【請求項9】
前記第2動画データを提供する手段は、前記第1動画像の認識に失敗した場合、前記第2動画データの提供を停止する、又は、前記第1動画像の認識に成功したときに生成された第2動画データを提供する、請求項1〜請求項8の何れかに記載の情報処理装置。
【請求項10】
コンピュータを、請求項1〜請求項9の何れかに記載の各手段として機能させるためのプログラム。
【請求項11】
カメラによって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、前記顔を含まない第2動画像と、を認識するステップを備え、
前記第1動画データの輝度を補正するステップを備え、
前記第1動画データにおける前記第2動画像の割合が所定の閾値以上の場合、又は、前記第1動画像の認識に失敗した場合の少なくとも1つの場合に、前記認識された第2動画像を補正するステップを備え、
前記輝度が補正された第1動画データに含まれる第1動画像と、前記補正された第2動画像と、を含む第2動画データを生成するステップを備え、
ビデオ通話アプリケーションに前記第2動画データを提供するステップを備える、
情報処理方法。
【請求項12】
カメラによって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、前記顔を含まない第2動画像と、を認識するステップを備え、
前記認識された第1動画像の輝度を補正するステップを備え、
前記第1動画データにおける前記第2動画像の割合が所定の閾値以上の場合、又は、前記第1動画像の認識に失敗した場合の少なくとも1つの場合に、前記認識された第2動画像を補正するステップを備え、
前記補正された第1動画像と、前記補正された第2動画像と、を含む第2動画データを生成するステップを備え、
ビデオ通話アプリケーションに前記第2動画データを提供するステップを備える、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、ビデオ通話の利用頻度が増加している。ビデオ通話のユーザは、自分の動画像を相手先ユーザに提供することにより、コミュニケーションの質を向上させることができる。
【0003】
従来、ビデオ通話で用いる動画像を加工する技術が知られている。例えば、特許文献1は、ユーザの動画像を、相手先ユーザが所望するフォーマットで提供する技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014−075779号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ユーザは、自分の動画像(例えば、顔の画像、及び、背景の画像)の提供に抵抗を感じる場合がある。例えば、女性ユーザは、自分の動画像を提供せずに、音声のみでビデオ通話に参加する傾向がある。
【0006】
しかし、特許文献1では、相手先ユーザに提供される動画像は、相手先ユーザが任意に決める。つまり、ユーザは、相手先ユーザに提供される動画像を自身で決めることはできない。したがって、動画像の提供に対するユーザの抵抗感を取り除くことはできない。
【0007】
本発明の目的は、ビデオ通話における動画像の利用を促すことである。
【課題を解決するための手段】
【0008】
本発明の一態様は、
カメラによって取得された第1動画データの輝度を補正する手段を備え、
前記輝度が補正された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、前記顔を含まない第2動画像と、を認識する手段を備え、
前記認識された第2動画像を補正する手段を備え、
前記輝度が補正された第1動画データに含まれる第1動画像と、前記補正された第2動画像と、を含む第2動画データを生成する手段を備え、
ビデオ通話アプリケーションに前記第2動画データを提供する手段を備える、
情報処理装置である。
【発明の効果】
【0009】
本発明によれば、ビデオ通話における動画像の利用を促すことができる。
【図面の簡単な説明】
【0010】
図1】本実施形態の情報処理システムの構成を示すブロック図。
図2図1のクライアント端末にインストールされたアプリケーションの機能を示す図。
図3】本実施形態のメークアップパターンデータベースのデータ構造を示す図。
図4】本実施形態の情報処理のフローチャート。
図5図4の第2動画データの生成の詳細なフローチャート。
図6】本実施形態の情報処理において表示される画面例を示す図。
図7】本実施形態の情報処理において表示される画面例を示す図。
図8】本実施形態の情報処理において表示される画面例を示す図。
図9】本実施形態の情報処理において表示される画面例を示す図。
図10】本実施形態の情報処理において表示される画面例を示す図。
図11】本実施形態の情報処理において表示される画面例を示す図。
図12】本実施形態の情報処理において表示される画面例を示す図。
図13】変形例3のメークアップパターンデータベースのデータ構造を示す図。
図14】変形例3の情報処理において表示される画面例を示す図。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0012】
(1)情報処理システムの構成
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
【0013】
図1に示すように、情報処理システム1は、クライアント端末10と、サーバ30とを備える。
クライアント端末10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
【0014】
クライアント端末10は、サーバ30にリクエストを送信する情報処理装置の一例である。クライアント端末10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【0015】
サーバ30は、リクエストに応じたレスポンスをクライアント端末10に送信する情報処理装置の一例である。サーバ30は、例えば、ウェブサーバである。
【0016】
(1−1)クライアント端末の構成
図1を参照して、クライアント端末10の構成について説明する。
【0017】
図1に示すように、クライアント端末10は、記憶装置11と、CPU(Central Processing Unit)12と、入出力インタフェース13と、通信インタフェース14、カメラ15と、マイク16と、とを備える。
【0018】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
プログラムは、例えば、OS(Operating System)のプログラム、又は、情報処理を実行するアプリケーションのプログラムである。図2に示すように、アプリケーションは、仮想カメラアプリケーション120と、ビデオ通話アプリケーション121と、を含む。
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータ
・画像処理ライブラリ(例えば、画像の特徴量に基づいて画像中の特定部位を認識するための画像認識アルゴリズム、画像の輝度を最適化するための輝度補正パラメータ、及び、画像に適用すべき画像処理フィルタ)
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0019】
図1のCPU12は、記憶装置11に記憶されたプログラムを実行することによって、クライアント端末10の機能を実現するように構成される。CPU12は、コンピュータの一例である。
【0020】
入出力インタフェース13は、クライアント端末10に接続される入力デバイスからユーザの指示を受け付け、かつ、クライアント端末10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0021】
通信インタフェース14は、クライアント端末10とサーバ30との間の通信を制御するように構成される。
【0022】
カメラ15は、動画データを取得するように構成される。カメラ15は、クライアント端末10のユーザの顔の少なくとも一部の動画像(以下「第1動画像」という)を撮像することにより、第1動画像を含む動画データ(以下「第1動画データ」という)を取得する。
【0023】
マイク16は、音声データを取得するように構成される。
【0024】
(1−2)アプリケーションの機能
クライアント端末10のアプリケーションの機能について説明する。図2は、図1のクライアント端末にインストールされたアプリケーションの機能を示す図である。
【0025】
図2に示すように、CPU12は、仮想カメラアプリケーション120の機能と、ビデオ通話アプリケーション121の機能と、を実現するプロセッサである。
【0026】
仮想カメラアプリケーション120は、第1動画データを補正することにより第2動画データを生成し、かつ、第2動画データをビデオ通話アプリケーション121に提供するように構成される。仮想カメラアプリケーション120の機能は、ビデオ通話アプリケーション121の機能とは独立した機能であっても良いし、ビデオ通話アプリケーション121の機能の一部であっても良い。
【0027】
ビデオ通話アプリケーション121は、ビデオデータを、通信インタフェース14経由でサーバ30に送信するように構成される。ビデオデータは、第2動画データと、音声データと、を含む。
【0028】
サーバ30は、ビデオ通話シーケンスを制御するように構成される。ビデオ通話シーケンスでは、複数のクライアント端末10の間でビデオデータが共有される。
【0029】
(2)データベース
本実施形態のデータベースについて説明する。図3は、本実施形態のメークアップパターンデータベースのデータ構造を示す図である。
【0030】
図3に示すように、メークアップパターンデータベースは、「パターンID」フィールドと、「パターン名」フィールドと、「補正パラメータ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「補正パラメータ」フィールドは、顔の部位毎の画像、及び、背景の画像を補正するための補正パラメータを含む。具体的には、「補正パラメータ」フィールドは、「唇」フィールドと、「瞼」フィールドと、「目」フィールドと、「睫毛」フィールドと、「頬」フィールドと、「背景」フィールドと、を含む。各フィールドには、補正パラメータID「CP1」〜「CP6」が関連付けられる。補正パラメータIDは、補正パラメータを識別する情報である。
メークアップパターンデータベースは、記憶装置11に記憶される。
【0031】
「パターンID」フィールドには、パターンIDが格納される。パターンIDは、メークアップパターンを識別する情報である。メークアップパターンは、ユーザの顔の各部位の画像を補正するための補正パラメータの組合せである。
【0032】
「パターン名」フィールドには、メークアップパターンの名称を示す情報(例えば、テキスト)が格納される。
【0033】
「補正パラメータ」フィールドには、補正パラメータが格納される。
具体的には、「唇」フィールドには、唇の画像(例えば、口紅の濃度、光沢感、ツヤのレベル、及び、パール感の少なくとも1つ)を補正するための補正パラメータが格納される。
「瞼」フィールドには、瞼の画像(例えば、アイシャドウの濃度、光沢感、ツヤのレベル、及び、パール感の少なくとも1つ)を補正するための補正パラメータが格納される。
「目」フィールドには、目の画像(例えば、目の形状)を補正するための補正パラメータが格納される。
「睫毛」フィールドには、睫毛の画像(例えば、マスカラの濃度)を補正するための補正パラメータが格納される。
「頬」フィールドには、頬の画像(例えば、チークの濃度)を補正するための補正パラメータが格納される。
各フィールドの数値が高いほど、第1動画像の各部位に施されるメークアップのレベル(例えば、濃度)が高くなる。
【0034】
「背景」フィールドには、第2動画像を補正するための補正パラメータが格納される。第2動画像を補正するための補正パラメータは、例えば、以下の少なくとも1つを含む。
・第2動画像のブラーレベルを補正するための補正パラメータ(例えば、ブラーレベルが高いほど、第2動画像の視認性が低下する(つまり、ユーザにとって見えにくくなる))
・第2動画像の色を変更するための補正パラメータ(例えば、グレースケール又は透明化のレベルを示す値)
・第2動画像にモザイク処理を適用するための補正パラメータ(例えば、モザイク処理のレベルを示す値)
・第2動画像に別の画像を合成するための補正パラメータ(例えば、合成すべき画像の割合を示す値)
【0035】
(3)情報処理のフロー
本実施形態の情報処理のフローについて説明する。図4は、本実施形態の情報処理のフローチャートである。図5は、図4の第2動画データの生成の詳細なフローチャートである。図6図12は、本実施形態の情報処理において表示される画面例を示す図である。
【0036】
図4及び図5の各ステップは、図2の仮想カメラアプリケーション120の機能である。
【0037】
図4に示すように、クライアント端末10は、第1動画データの取得(S100)を実行する。
具体的には、ユーザが仮想カメラアプリケーション120の起動を指示すると、CPU12は、仮想カメラアプリケーション120のプログラムを実行し、画面P100(図6)をディスプレイに表示する。
【0038】
図6Aに示すように、画面P100は、領域A100と、ボタンB100と、を含む。
領域A100には、フェイスラインL100(図6A)及び画像IMG100(図6B)が表示される。画像IMG100は、カメラ15が取得する動画データに対応するプレビュー画像である。
ボタンB100は、第1動画データの取得の指示を受け付けるためのオブジェクトである。ユーザが自身の顔の輪郭をフェイスラインL100に合わせた後、ボタンB100を指定すると、CPU12は、領域A100に表示された画像IMG100(図6B)に対応する第1動画データをカメラ15から取得する。
【0039】
図4に示すように、クライアント端末10は、第1動画像及び第2動画像の認識(S101)を実行する。
【0040】
具体的には、CPU12は、記憶装置11に記憶された画像認識アルゴリズムを用いて、ステップS100で取得した第1動画データの特徴量に基づいて、第1動画像と、第2動画像と、を認識する。第2動画像とは、第1動画データにおいて第1動画像以外の動画像である。つまり、第2動画像は、ユーザの顔を含まない動画像(例えば、ユーザの背景を含む動画像)である。
次に、CPU12は、第1動画データの特徴量に基づいて、第1動画像に含まれる顔の部位(例えば、唇、瞼、目、頬、鼻、髪型、輪郭、眉、及び、睫毛)を認識する。
【0041】
ステップS101の後、クライアント端末10は、第2動画データの生成(S102)を実行する。
【0042】
図5に示すように、クライアント端末10は、明るさ補正(S1020)を実行する。
【0043】
具体的には、CPU12は、ステップS101で認識された第1動画像のうち、顔の一部(例えば、頬)に対応する画像の輝度を特定する。
次に、CPU12は、特定した輝度が所定範囲内に含まれるように、第1動画像及び第2動画像(つまり、第1動画データの全体の画像)の輝度を補正する。
次に、CPU12は、画面P101(図7)をディスプレイに表示する。
【0044】
図7に示すように、画面P101は、領域A101と、ボタンB101a及びB101bと、を含む。
ボタンB101aは、第1動画像の輝度の変更の指示を受け付けるためのオブジェクトである。ユーザがボタンB101aを+側又は−側に移動させると、CPU12は、第1動画像の輝度を、ボタンB101aの位置に応じた値に変更する。ユーザは、ボタンB101aを移動させることにより、第1動画データの全体の画像の明るさを調整することができる。
ボタンB101bは、第1動画像の輝度の確定の指示を受け付けるためのオブジェクトである。ユーザがボタンB101bを指定すると、ステップS1020が終了する。
領域A101には、画像IMG101が表示される。画像IMG101は、輝度が補正された後の第1動画像のプレビュー画像である。
【0045】
ユーザがボタンB101b(図7)を指定すると、図5に示すように、クライアント端末10は、メークアップパターン補正(S1021)を実行する。
【0046】
具体的には、CPU12は、画面P102(図8)をディスプレイに表示する。
【0047】
図8に示すように、画面P102は、領域A102と、ボタンB102a〜B102hと、を含む。
領域A102には、画像IMG102が表示される。
ボタンB102a〜B102eは、メークアップパターンの指示を受け付けるためのオブジェクトである。ボタンB102a〜B102eには、それぞれ、パターンID「MP001」〜「MP005」(図3)が割り当てられる。ユーザがボタンB102a〜B102eの何れかを指定すると、CPU12は、ユーザが指定したボタンに割り当てられたパターンIDによって識別されるメークアップパターン(つまり、ユーザが指定したボタンに対応する補正パラメータの組合せ)を選択する。次に、CPU12は、選択したメークアップパターンを用いて、第1動画像の各部位の画像を補正することにより、第2動画データを生成する。この場合の画像IMG102は、メークアップ補正後の第1動画像のプレビュー画像である。
ボタンB102fは、補正パラメータの変更(S1023)の指示を受け付けるためのオブジェクトである。
ボタンB102gは、メークアップパターン補正の解除の指示を受け付けるためのオブジェクトである。ユーザがボタンB102gを指定すると、CPU12は、メークアップパターン補正を解除する。この場合の画像IMG102は、第1動画像のプレビュー画像IMG101(図7)と同一である。
ボタンB102hは、ビデオ通話アプリケーション121の起動の指示を受け付けるためのオブジェクトである。ユーザがボタンB102hを指定すると、CPU12は、ビデオ通話アプリケーション121のプログラムを実行する。
【0048】
ユーザがボタンB102h(図8)を指定すると(S1022−NO)、図5の処理は終了する。
ユーザがボタンB102a〜B102e(図8)の何れかを指定し、かつ、ボタンB102f(図8)を指定すると(S1022−YES)、図5に示すように、クライアント端末10は、補正パラメータの変更(S1023)を実行する。
【0049】
具体的には、CPU12は、画面P103(図8)をディスプレイに表示する。
【0050】
図8に示すように、画面P103は、ボタンB103a〜B103cを含む。
ボタンB103aは、メークアップパターンのカスタマイズ(S1023a)の指示を受け付けるためのオブジェクトである。
ボタンB103bは、フィルタ補正(S1023b)の指示を受け付けるためのオブジェクトである。
ボタンB103cは、背景補正(S1023c)の指示を受け付けるためのオブジェクトである。ユーザがボタンB103cを指定すると、CPU12は、画面P106(図11)をディスプレイに表示する。
【0051】
ユーザがボタンB103a(図8)を指定すると、CPU12は、メークアップパターンのカスタマイズ(S1023a)を実行する。
具体的には、CPU12は、画面P104(図9)をディスプレイに表示する。
【0052】
図9に示すように、画面P104は、領域A104と、ボタンB104a〜B104gと、を含む。
領域A104には、画像IMG104が表示される。画像IMG104は、変更後の補正パラメータに対応する第1動画像のプレビュー画像である。
ボタンB104a〜B104eは、変更対象の補正パラメータの指示を受け付けるためのオブジェクトである。ボタンB104a〜B104eには、それぞれ、図3の補正パラメータID「CP1」〜「CP5」が割り当てられる。ユーザがボタンB104a〜B104eの何れかを指定すると、CPU12は、変更対象の補正パラメータを特定する。変更対象の補正パラメータは、ユーザが指定したボタンに割り当てられた補正パラメータIDよって識別される補正パラメータである。
ボタンB104fは、変更後の補正パラメータの値の指示を受け付けるためのオブジェクトである。ユーザがボタンB104fを+側又は−側に移動させると、CPU12は、変更対象の補正パラメータを、ボタンB104fの位置に応じた値に変更する。ユーザは、ボタンB104fを移動させることにより、変更対象の補正パラメータを調整することができる。
ボタンB104gは、変更後の補正パラメータの保存の指示を受け付けるためのオブジェクトである。ユーザがボタンB104gを指定すると、CPU12は、変更後の補正パラメータを記憶装置11に記憶する。
【0053】
一例として、ユーザが、ボタンB102a及びB103a(図8)を指定し、かつ、ボタンB104a、B104f、及び、B104g(図9)を指定すると、CPU12は、図3のパターンID「MP005」に関連付けられた各フィールドに、パターンID「MP001」に関連付けられた各フィールドの値をコピーする。
次に、CPU12は、ボタンB104fの位置に応じた値を用いて、パターンID「MP005」に関連付けられた「唇」フィールドを更新する。
【0054】
ユーザがボタンB103b(図8)を指定すると、図5に示すように、クライアント端末10は、フィルタ補正(S1023b)を実行する。
具体的には、CPU12は、画面P105(図10)をディスプレイに表示する。
【0055】
図10に示すように、画面P105は、領域A105と、ボタンB105a〜B105eと、を含む。
領域A105には、画像IMG105が表示される。画像IMG105は、フィルタ補正後の第1動画像のプレビュー画像である。
ボタンB105aは、フィルタ補正の解除の指示を受け付けるためのオブジェクトである。ユーザがボタンB105aを指定すると、CPU12は、フィルタ補正を実行しない。この場合の画像IMG105は、画像IMG102(図8)と同一である。
ボタンB105b〜B105dは、画像処理フィルタの指示を受け付けるためのオブジェクトである。ボタンB105b〜B105dには、それぞれ、画像処理フィルタ「FILETR1」〜「FILTER3」が割り当てられる。
画像処理フィルタ「FILETR1」は、顔の少なくとも一部(例えば、頬)に対応する画像のコントラストが所定範囲内に含まれるように、第1動画像の輝度、コントラスト、彩度、及び、色調を補正するための補正パラメータを含む。
画像処理フィルタ「FILETR2」は、顔の少なくとも一部(例えば、頬)に対応する画像の彩度が所定範囲内に含まれるように、第1動画像の輝度、コントラスト、彩度、及び、色調を補正するための補正パラメータを含む。
画像処理フィルタ「FILETR3」は、顔の少なくとも一部(例えば、頬)に対応する画像の色調が所定範囲内に含まれるように、第1動画像の輝度、コントラスト、彩度、及び、色調を補正するための補正パラメータを含む。
ユーザがボタンB105b〜B105dの何れかを指定すると、CPU12は、ユーザが指定したボタンに割り当てられた画像処理フィルタを第1動画像に適用する。この場合、画像IMG105は、画像処理フィルタが適用された後の第1動画像のプレビュー画像である。
ボタンB105eは、フィルタ補正の確定の指示を受け付けるためのオブジェクトである。ユーザがボタンB105eを指定すると、CPU12は、フィルタ補正後の補正パラメータを、パターンID「MP005」(図3)に関連付けられた各フィールドに格納する。これにより、フィルタ補正後のメークアップパターンが保存される。
【0056】
一例として、ユーザが、ボタンB102a及びB103b(図8)を指定し、かつ、ボタンB105b及びB105e(図10)を指定すると、CPU12は、ボタンB105bに割り当てられた画像処理フィルタを用いて、パターンID「MP005」に関連付けられた各フィールドの値を変更する。
【0057】
図5に示すように、ユーザがボタンB103c(図8)を指定すると、クライアント端末10は、背景補正(S1023c)を実行する。
具体的には、CPU12は、画面P106(図11)をディスプレイに表示する。
【0058】
図11に示すように、画面P106は、領域A106と、ボタンB106a及びB106bと、を含む。
ボタンB106aは、第2動画像のブラーレベルの変更の指示を受け付けるためのオブジェクトである。ユーザがボタンB106aを+側又は−側に移動させると、CPU12は、第2動画像のブラーレベルを、ボタンB106aの位置に応じた値に変更する。ユーザは、ボタンB106aを移動させることにより、背景をぼかすことができる。
領域A106には、画像IMG106a及びIMG106bが表示される。
画像IMG106aは、第1動画像のプレビュー画像である。画像IMG106aは、ボタンB106aが移動しても変化しない。
画像IMG106bは、第2動画像のプレビュー画像である。画像IMG106bは、ボタンB106aの位置に応じてブラーレベルが変化する。
ボタンB106bは、ブラーレベルの確定の指示を受け付けるためのオブジェクトである。ユーザがボタンB106bを指定すると、CPU12は、ブラーレベルと、パターンID「MP005」と、を関連付けて記憶装置11に記憶する。
【0059】
一例として、ユーザが、ボタンB102a及びB103c(図8)を指定し、かつ、ボタンB106a及びB106b(図11)を指定すると、CPU12は、ボタンB106aの位置に応じた値を用いて、図3のパターンID「MP005」に関連付けられた「背景」フィールドを更新する。
【0060】
ユーザがボタンB102h(図8)を指定すると(S1022−NO)、クライアント端末10は、図4の第2動画データの提供(S103)を実行する。
【0061】
具体的には、CPU12は、ビデオ通話アプリケーション121のプログラムを実行し、画面P110(図12)をディスプレイに表示する。
【0062】
図12に示すように、画面P110は、領域A110a及びA110bと、ボタンB110と、を含む。
領域A110aには、画像IMG110a及びIMG110bが表示される。
画像IMG110aは、ステップS102(図4)で得られる第1動画像である。
画像IMG110bは、ステップS102で得られる第2動画像である。
領域A110bには、ビデオ通話アプリケーション121に予め登録された相手先ユーザのユーザ名が表示される。例えば、ユーザが相手先ユーザ「USER1」及びボタンB110を指定すると、CPU12は、通信インタフェース14を介して、ビデオ通話リクエストをサーバ30に送信する。
ボタンB110は、ビデオ通話シーケンスの開始のリクエスト(以下「ビデオ通話リクエスト」という)の指示を受け付けるためのオブジェクトである。ユーザがボタンB110を指定すると、CPU12は、ビデオ通話リクエストをサーバ30に送信する。
【0063】
相手先ユーザがビデオ通話リクエストに応答すると、サーバ30は、ビデオ通話シーケンスを開始する。ビデオ通話シーケンスでは、ユーザのクライアント端末10と、相手先ユーザのクライアント端末との間で、ビデオデータが送受信される。クライアント端末10が送信するビデオデータは、領域A110aに表示されたプレビュー画像に対応する第2動画データを含む。
【0064】
ビデオ通話シーケンスが開始してからビデオ通話シーケンスが終了する迄の間、仮想カメラアプリケーション120は、図3の処理を実行することにより、第2動画データをビデオ通話アプリケーション121に提供し続ける。
【0065】
一例として、ユーザが、ビデオ通話中にボタンB101a(図7)を移動させると、ビデオ通話中に、第2動画データの全体の画像の明るさを変更することができる。
ユーザが、ビデオ通話中にボタンB101a〜B102e(図8)の何れかを指定すると、ビデオ通話中にメークアップパターンを変更することができる。
【0066】
なお、ステップS1020〜S1023は順不同である。
ステップS1020を実行する場合、ステップS1021は省略可能である。
ステップS1021を実行する場合、ステップS1020は省略可能である。
ステップS1023a〜S1023cの少なくとも1つは省略可能である。
【0067】
(4)変形例
本実施形態の変形例について説明する。
【0068】
(4−1)変形例1
変形例1について説明する。
【0069】
変形例1のクライアント端末10は、背景補正(S1023c)において、ユーザの指示の有無に関わらず、所定条件を満たす場合に第2動画像を補正する。
【0070】
一例として、CPU12は、第1動画像に対する第2動画像の割合が所定値以上である(つまり、背景が所定の大きさより多く映る)場合、当該割合に応じて第2動画像を補正する。
別の例として、CPU12は、第1動画像の認識率が所定値以下である場合、当該認識率に応じて第2動画像を補正する。
【0071】
変形例1によれば、コミュニケーションの質を向上させるのに十分な顔の動画像を相手先ユーザに提供できない場合、背景の動画像をぼかすことができる。これにより、背景の動画像だけが相手先ユーザに提供されることを回避することができる。
【0072】
(4−2)変形例2
変形例2について説明する。
【0073】
変形例2のクライアント端末10は、メークアップパターン補正(S1021)において、ユーザが指定したメークアップパターンではなく、ユーザに関する情報(以下「ユーザ情報」という)に応じたメークアップパターンを選択しても良い。
【0074】
一例として、記憶装置11には、ユーザ情報が記憶される。ユーザ情報は、例えば、以下の情報の少なくとも1つである。
・ユーザのプロフィール(例えば、ユーザ名、ユーザの性別、及び、ユーザの職業)に関する情報
・ユーザのビデオ通話履歴(例えば、ビデオ通話の日時、ビデオ通話の相手先ユーザのプロフィール、ビデオ通話の目的(一例として、会議、外国語のレッスン))に関する情報
・ユーザの行動ログ(例えば、ユーザが使用している化粧品又は洋服、ユーザが購入した化粧品又は洋服の購入履歴に関する情報)
・ユーザの心理状態(例えば、ストレスレベル)に関する情報
・ステップS101で認識された顔の部位(例えば、輪郭)の特徴量を示す情報
【0075】
パターンIDには、ユーザ情報が関連付けられる。
【0076】
CPU12は、メークアップパターン補正(S1021)において、ユーザ情報に関連付けられたパターンIDにより識別されるメークアップパターンを選択する。
【0077】
変形例2によれば、ユーザに対して、当該ユーザにとって最適なメークアップパターンを提案することができる。
【0078】
(4−3)変形例3
変形例3について説明する。
【0079】
変形例3のクライアント端末10は、図5のメークアップパターンのカスタマイズ(S1023a)において、記憶装置11に記憶されたメークアップパターンデータベースを更新するのではなく、変更後の補正パラメータを含むメークアップパターンを、サーバ30の記憶装置に記憶する。
【0080】
図13は、変形例3のメークアップパターンデータベースのデータ構造を示す図である。図14は、変形例3の情報処理において表示される画面例を示す図である。
【0081】
図13に示すように、メークアップパターンデータベースは、「ユーザID」フィールドと、「ユーザ名」フィールドと、「補正パラメータ」フィールドと、を含む。各フィールドは、互いに関連付けられている。「補正パラメータ」フィールドは、図3と同様である。
【0082】
「ユーザID」フィールドには、ユーザIDが格納される。ユーザIDは、ユーザを識別する除法である。
【0083】
「ユーザ名」フィールドには、ユーザの名前を示す情報(例えば、テキスト)が格納される。
【0084】
ユーザ(ユーザ名「USER1」)が使用するクライアント端末10aのCPU12aは、メークアップパターンのカスタマイズ(S1023a)において、変更後の補正パラメータを含むメークアップパターンと、ユーザID「U001」と、ユーザ名「USER1」と、をサーバ30に送信する。
サーバ30は、クライアント端末10aから送信されたメークアップパターンと、ユーザIDと、ユーザ名と、を関連付けて記憶する。
【0085】
ステップS1021(図5)において、ユーザ(ユーザ名「USER2」)が使用するクライアント端末10bのCPU12bは、画面P200(図14)をディスプレイに表示する。
【0086】
図14に示すように、画面P200は、領域A200a及びA200bと、ボタンB200a〜B200cと、を含む。
領域A200aには、メークアップパターンをサーバ30に保存したユーザのユーザ名が表示される。
領域A200bには、メークアップパターンを適用した場合のユーザ(ユーザ名「USER2」)の第1画像のプレビュー画像が表示される。
ボタンB200a及びB200bは、ユーザの指示を受け付けるためのオブジェクトである。ボタンB200a及びB200bには、メークアップパターンをサーバ30に保存したユーザを識別するユーザID「U001」及び「U003」が割り当てられる。ユーザ(ユーザ名「USER2」)がボタンB200a及びB200bを指定すると、CPU12bは、ユーザ(ユーザ名「USER2」)が指定したボタンに割り当てられたユーザIDに関連付けられたメークアップパターンを選択する。
【0087】
一例として、ユーザ名(「USER2」)が、ボタンB200a及びB200c(図14)を指定すると、CPU12bは、図13のユーザID「U001」に関連付けられたメークアップパターンを用いて、第1動画像の各部位の画像を補正することにより、第2動画データを生成する。
【0088】
変形例3によれば、ユーザは、他のユーザがカスタマイズしたメークアップパターンを使用することができる。
【0089】
(4−4)変形例4
変形例4について説明する。
【0090】
変形例4のメークアップパターンは、図3の補正パラメータに加えて、以下の部位の少なくとも1つを補正するための補正パラメータを含む。
・髪型
・顔の輪郭
・眉の形状
・睫毛の形状
・鼻の形状、
・唇の形状
・ファンデーションの濃度
【0091】
(4−5)変形例5
変形例5について説明する。
【0092】
変形例5のクライアント端末10は、ステップS101において第1動画像の認識に失敗した場合、第1動画データに含まれる第1動画像(つまり、メークアップを施していない顔の画像)が相手先ユーザに提供されることを回避する。認識に失敗した場合とは、例えば、第1動画像の認識率が所定の閾値以下の場合である。
【0093】
一例として、CPU12は、ステップS101において第1動画像の認識に失敗した場合、ステップS102及びS103の処理を実行しない。
これにより、第1動画像の認識に失敗した場合、相手先ユーザのクライアント端末10には、第2動画データは提供されない。この場合、相手先ユーザのクライアント端末10のディスプレイは、ブラックアウトする。
【0094】
別の例として、CPU12は、ステップS101において第1動画像の認識に失敗した場合、ステップS102の処理を実行せず、かつ、ステップS103において、第1動画像の認識に成功したときに生成された第2動画データを提供する。
これにより、第1動画像の認識に失敗した場合、相手先ユーザのクライアント端末10のディスプレイには、第1動画像の認識に成功したときの顔の画像が静止画のように表示される。
【0095】
別の例として、CPU12は、ステップS101において第1動画像の認識に失敗した場合、ステップS102において、第1動画像及び第2動画像(つまり、第1動画データの全体の画像)について、以下の少なくとも1つの補正パラメータを、第1動画データの全体の画像の視認性が低下するように変更する。
・ブラーレベルを補正するための補正パラメータ
・色を変更するための補正パラメータ(例えば、グレースケールへの変換、又は、透明化のレベルを示す値)
・モザイク処理を適用するための補正パラメータ(例えば、モザイク処理のレベルを示す値)
・別の画像を合成するための補正パラメータ(例えば、合成すべき画像の割合を示す値)
これにより、第1動画像の認識に失敗した場合、相手先ユーザのクライアント端末10のディスプレイには、少なくとも第1動画像の視認性が低い画像(例えば、ブラーレベルを補正するための補正パラメータを変更した場合、第1動画データの全体がぼやけた画像)が表示される。
【0096】
変形例5によれば、ステップS101において第1動画像の認識に失敗した場合、メークアップを施していない顔の画像が相手先ユーザに提供されることを回避することができる。
【0097】
(4−6)変形例6
変形例6について説明する。変形例6は、ステップS1020において、ステップS101で認識された第1動画像の少なくとも一部の輝度を補正する例である。
【0098】
一例として、CPU12は、ステップS101で認識された第1動画像のうち、顔の一部(例えば、頬)に対応する画像の輝度を特定する。
次に、CPU12は、特定した輝度が所定範囲内に含まれるように、第1動画像の全体の輝度、又は、特定した輝度を補正する。
【0099】
(4−7)変形例7
変形例7について説明する。変形例7は、仮想カメラアプリケーション120が、カメラ15の設定値を変更する例である。
【0100】
一例として、変形例7のCPU12は、図5のステップS1020において、顔の一部(例えば、頬)に対応する画素の輝度を特定した後、特定した輝度が所定範囲内に含まれるように、カメラ15の設定値を変更する。
【0101】
別の例として、ステップS1023bにおいて、ユーザが、ボタンB105b(図10)を指定すると、CPU12は、ボタンB105bに割り当てられた画像処理フィルタ「FILTER1」に含まれる補正パラメータに基づいて、カメラ15の設定値を変更する。
【0102】
変形例7によれば、カメラ15が、輝度、コントラスト、彩度、及び、色調の少なくとも1つが補正された第1動画データを取得する。CPU12は、第1動画データについて、輝度、コントラスト、彩度、及び、色調の少なくとも1つを補正する必要はない。これにより、CPU12の処理量を低減することができる。
【0103】
(5)小括
本実施形態を小括する。
【0104】
本実施形態の第1態様は、
カメラ(15)によって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、顔を含まない第2動画像と、を認識する手段(S101)を備え、
第1動画データの輝度を補正する手段(S1020)を備え、
認識された第2動画像を補正する手段(S1023c)を備え、
輝度が補正された第1動画データに含まれる第1動画像と、補正された第2動画像と、を含む第2動画データを生成する手段(S102)を備え、
ビデオ通話アプリケーション(121)に第2動画データを提供する手段(S103)を備える、
情報処理装置(例えば、クライアント端末10)である。
【0105】
本実施形態の第2態様は、
カメラ(15)によって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、顔を含まない第2動画像と、を認識する手段(S101)を備え、
認識された第1動画像の輝度を補正する手段(S1020)を備え、
認識された第2動画像を補正する手段(S1023c)を備え、
補正された第1動画像と、補正された第2動画像と、を含む第2動画データを生成する手段(S102)を備え、
ビデオ通話アプリケーションに第2動画データを提供する手段(S103)を備える、
情報処理装置(例えば、クライアント端末10)である。
【0106】
これらの態様によれば、ユーザは、ビデオ通話で用いる自分の顔を含む動画像を容易に加工することができる。これにより、ビデオ通話における動画像の利用を促すことができる。
【0107】
別の態様では、輝度を補正する手段(S1020)は、認識された第1動画像の輝度が所定範囲に含まれるように、輝度を補正しても良い。
【0108】
この態様によれば、ユーザは、ビデオ通話で用いる自分の顔の画像の印象を容易に変更することができる。
【0109】
別の態様では、第2動画像を補正する手段(S1023c)は、ユーザの指示を受け付けた場合、第1動画データにおける第2動画像の割合が所定の閾値以上の場合、及び、第1動画像の認識に失敗した場合の少なくとも1つの場合に、第2動画像を補正しても良い。
【0110】
別の態様では、第2動画像を補正する手段(S1023c)は、第2動画像の視認性が低下するように、第2動画像を補正しても良い。
【0111】
これらの態様によれば、ユーザは、背景(例えば、部屋に配置されている家具)の画像が相手先ユーザに見られてしまうことを自動的に回避することができる。
【0112】
別の態様によれば、複数のメークアップパターンの何れかを選択する手段(S1021)を備え、
選択されたメークアップパターンを用いて第1動画像を補正する手段(S1021)を備え、
第2動画データを生成する手段(S102)は、補正された第1動画像と、補正された第2動画像と、を含む第2動画データを生成しても良い。
【0113】
別の態様では、選択する手段(S1021)は、ユーザが指定したメークアップパターン、又は、ユーザに関するユーザ情報(例えば、プロフィール)に応じたメークアップパターンを選択しても良い。
【0114】
これらの態様によれば、ユーザは、ビデオ通話で用いる自分の顔の画像に所望のメークアップを施すことができる。
【0115】
本実施形態の第3態様は、
カメラ(15)によって取得された第1動画データにおいて、ユーザの顔の少なくとも一部を含む第1動画像と、顔を含まない第2動画像と、を認識する手段(S101)を備え、
複数のメークアップパターンの何れかを選択する手段(S1021)を備え、
選択されたメークアップパターンを用いて認識された第1動画像を補正する手段(S1021)を備え、
補正された第1動画像と、認識された第2動画像と、を含む第2動画データを生成する手段(S102)を備え、
ビデオ通話アプリケーションに第2動画データを提供する手段(S103)を備える、
情報処理装置である。
【0116】
この態様によれば、ユーザは、ビデオ通話で用いる自分の顔を含む動画像を容易に加工することができる。これにより、ビデオ通話における動画像の利用を促すことができる。
【0117】
別の態様では、ユーザの指示に応じて、各補正する手段の補正パラメータを変更する手段(S1023)を備えても良い。
【0118】
この態様によれば、ユーザは、所望のメークアップが施された動画像を得ることができる。
【0119】
別の態様では、変更された補正パラメータを、ユーザを識別するユーザIDと関連付けて記憶装置(30)に記憶する手段(S1023)を更に備えても良い。
【0120】
この態様によれば、ユーザは、他のユーザがカスタマイズしたメークアップパターンを使用することができる。
【0121】
別の態様では、第2動画データを提供する手段(S103)は、第1動画像の認識に失敗した場合、第2動画データの提供を停止する、又は、第1動画像の認識に成功したときに生成された第2動画データを提供しても良い。
【0122】
この態様によれば、顔の画像の認識に失敗した場合、メークアップを施していない顔の画像が相手先ユーザに提供されることを回避することができる。
【0123】
(6)その他の変形例
【0124】
記憶装置11は、ネットワークNWを介して、クライアント端末10と接続されてもよい。
【0125】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0126】
1 :情報処理システム
10 :クライアント端末
11 :記憶装置
12 :CPU
13 :入出力インタフェース
14 :通信インタフェース
15 :カメラ
16 :マイク
30 :サーバ
120 :仮想カメラアプリケーション
121 :ビデオ通話アプリケーション
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14