特開 2024-1398 臨場感を維持しながらプライバシを保護するための映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001398

(43)【公開日】2024-01-10

(54)【発明の名称】臨場感を維持しながらプライバシを保護するための映像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231227BHJP

   H04N 5/265 20060101ALI20231227BHJP

【ＦＩ】

H04N5/232 290

H04N5/265

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022100004

(22)【出願日】2022-06-22

(71)【出願人】

【識別番号】304020292

【氏名又は名称】国立大学法人徳島大学

(72)【発明者】

【氏名】水科 晴樹

(72)【発明者】

【氏名】山本 健詞

【テーマコード（参考）】

5C023

5C122

【Ｆターム（参考）】

5C023AA16

5C023BA11

5C023CA01

5C122EA07

5C122FH11

5C122FH14

5C122FH18

5C122HB01

(57)【要約】

【課題】映像に写っている他人のプライバシを保護しつつも写真が有している臨場感を損なわない信号処理を提供する。
【解決手段】写真又はビデオの映像に写っている他人の顔である他人顔をこれとは別の顔である別顔に置き換えることによる。この場合、映像内の別顔を同一人物の顔、複数人物の顔、実在の人物の顔又はコンピュータグラフィックスで合成された顔とすることができる。さらに、顔のランドマークや表情、男女（性別）などの複数種類のパラメータを使いながら別顔に置き換えることによる。
【選択図】図１

【特許請求の範囲】

【請求項1】

写真又はビデオの映像に写っている他人の顔である他人顔をこれとは別の顔である別顔に置き換えることを特徴とする映像処理方法。

【請求項2】

顔のランドマーク、表情及び男女からなる群のうちから選択される二以上のパラメータを使いながら前記別顔に置き換えることを特徴とする請求項１に記載の映像処理方法。

【請求項3】

前記映像内の前記別顔が同一人物の顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項4】

前記映像内の前記別顔が複数人物の顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項5】

前記映像内の前記別顔が実在の人物の顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項6】

前記映像内の前記別顔がコンピュータグラフィックスで合成された顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項7】

置き換えたことを明示する文章又はピクトグラムを前記映像に入れることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項8】

前記他人顔を所定画素数以下で写っている顔に制限することを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項9】

前記他人顔のうち特定の他人顔は置き換えないことを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項10】

前記他人顔の顔の向きの検出を、前記他人顔毎に変えることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項11】

前記他人顔の顔の向きの検出を、前記他人顔によって変えないことを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項12】

前記他人顔の向きの検出を、前記他人顔が映っている位置に応じて変えることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項13】

２枚以上の時系列の写真又はビデオにおいて、同一人物の他人顔を置き換える際には、前記同一人物の別顔にすることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項14】

２枚以上の時系列の写真又はビデオにおいて、前記他人顔の顔のランドマーク、表情及び男女からなる群のうちから選択される二以上のパラメータの変化を所定以下に制限することを特徴とする請求項２に記載の映像処理方法。

【請求項15】

立体視用の２枚以上の時系列の写真又は立体視用のビデオにおいて、同一人物の他人顔を置き換える際には、同一人物の別顔にすることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。

【請求項16】

立体視用の２枚以上の時系列の写真又は立体視用のビデオにおいて、前記他人顔の顔のランドマーク、表情及び男女からなる群のうちから選択される二以上のパラメータの変化を所定以下に制限することを特徴とする請求項２に記載の映像処理方法。

【請求項17】

顔のランドマーク、表情及び男女からなる群のうちから選択される二以上のパラメータを使いながら前記別顔に置き換える際に、前記他人顔のパラメータと前記別顔のパラメータとの差が最小にならない別顔を選択することを特徴とする請求項２に記載の映像処理方法。

【請求項18】

請求項１～２のいずれか一項に記載の映像処理方法を用いる映像の作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像に写っている人の顔の処理に関する。

【背景技術】

【0002】

観光地など他人がいる場面で写真やビデオを撮影すると、他人の顔（以下、他人顔と略す）が映ってしまうことが多々ある。こういったときはプライバシという観点で問題を起こしたり、他人を不愉快にしたりすることがあるため、撮影することや撮影したことを他人に断る必要がある。しかし他人が大勢いるときに全員に断るのは現実的に不可能であるし、少ない時でもいちいち断るのは面倒である。技術的にこの課題を解決できるのが望ましい。この場合、その人の顔を映像に写すこと、その映像を加工や変更等すること、あるいは映像に写った顔を公表することについての承諾や権限などが得られていない人が、少なくともここにいう他人に該当する。

【0003】

この課題に対して、他人顔をぼかしたり、黒塗りしたり、モザイクをかけるなどの処理が撮影後に多々されている。しかしこれらの処理は、せっかく撮影した写真やビデオが有しているその場の雰囲気を損なってしまうという問題がある。

【0004】

そこで特許文献１では、顔の輪郭を抽出して、なるべく顔だけを処理することで、その場の雰囲気を損なわないようにしている。しかし、顔が黒塗りになるため雰囲気が損なわれていないとまでは言い難い。

【0005】

特許文献２では、背景を記憶しておき、他人を背景に置き換えることで他人を消すように処理している。しかし他人が消えてしまうため雰囲気が損なわれていないとまでは言い難い。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第６５０４３６４号

【特許文献2】特許第６４１９７４９号

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明では、映像に写っている他人のプライバシを保護しつつも写真が有している臨場感を損なわない信号処理を提供する。

【課題を解決するための手段】

【0008】

本発明は、写真やビデオ（これらに相当する画像その他イメージデータなどを含み、特に区別の必要が無い場合はまとめて「映像」と表記する。）を撮影した後に、映像に写っている人の顔（「他人顔」という。）をこれとは別の顔（「別顔」という。）に置き換えることで、その場の雰囲気を損なわずに、かつ他人のプライバシを保護することを特徴とする処理（画像処理方法）である。以下、本発明の態様について説明する。
〔１〕写真又はビデオの映像に写っている他人の顔である他人顔をこれとは別の顔である別顔に置き換えることを特徴とする処理。
〔２〕顔のランドマークや表情、男女（性別）などの複数種類のパラメータを使いながら別顔に置き換えることを特徴とする上記〔１〕に記載の処理。
〔３〕映像内の別顔が同一人物の顔であることを特徴とする上記〔１〕～〔２〕のいずれか一項に記載の処理。
〔４〕映像内の別顔が複数人物の顔であることを特徴とする上記〔１〕～〔２〕のいずれか一項に記載の処理。
〔５〕映像内の別顔が実在の人物の顔であることを特徴とする上記〔１〕～〔４〕のいずれか一項に記載の処理。
〔６〕映像内の別顔がコンピュータグラフィックスで合成された顔であることを特徴とする上記〔１〕～〔４〕のいずれか一項に記載の処理。
〔７〕置き換えたことを明示する文章又はピクトグラムを映像に入れることを特徴とする上記〔１〕～〔６〕のいずれか一項に記載の処理。
〔８〕他人顔を所定画素数以下で写っている顔に制限することを特徴とする上記〔１〕～〔７〕のいずれか一項に記載の処理。
〔９〕特定の他人顔は置き換えないことを特徴とする上記〔１〕～〔８〕のいずれか一項に記載の処理。
〔１０〕他人顔の向きの検出を、他人顔毎に変えることを特徴とする上記〔１〕～〔９〕のいずれか一項に記載の処理。
〔１１〕他人顔の向きの検出を、他人顔によって変えないことを特徴とする上記〔１〕～〔９〕のいずれか一項に記載の処理。
〔１２〕他人顔の向きの検出を、他人顔が映っている位置に応じて変えることを特徴とする上記〔１〕～〔９〕のいずれか一項に記載の処理。
〔１３〕２枚以上の時系列の写真又はビデオにおいて、同一人物の他人顔を置き換える際には、同一人物の別顔にすることを特徴とする上記〔１〕～〔１２〕のいずれか一項に記載の処理。
〔１４〕２枚以上の時系列の写真又はビデオにおいて、他人顔のランドマークや表情、男女などの複数種類のパラメータの変化を所定以下に制限することを特徴とする上記〔１〕～〔１３〕のいずれか一項に記載の処理。
〔１５〕立体視用の２枚以上の時系列の写真又は立体視用のビデオにおいて、同一人物の他人顔を置き換える際には、同一人物の別顔にすることを特徴とする上記〔１〕～〔１４〕のいずれか一項に記載の処理。
〔１６〕立体視用の２枚以上の時系列の写真、又は立体視用のビデオにおいて、他人顔のランドマークや表情、男女などの複数種類のパラメータの変化を所定以下に制限することを特徴とする上記〔１〕～〔１５〕のいずれか一項に記載の処理。
〔１７〕顔のランドマークや表情、男女などの複数種類のパラメータを使いながら別顔に置き換える際に、他人顔のパラメータと別顔のパラメータとの差が最小にならない別顔を選択することを特徴とする上記〔１〕～〔１６〕のいずれか一項に記載の処理。
〔１８〕上記〔１〕～〔１７〕のいずれか一項に記載の映像処理方法を用いる映像の作成方法。

【0009】

本発明の態様について別の観点から説明する。本発明の処理は、別顔が映った映像群をまとめる手段と、別顔が映った映像群から別顔群を抽出する手段と、抽出した別顔群のパラメータを推定する手段と、撮影した映像から他人顔を抽出する手段と、抽出した他人顔のパラメータを推定する手段と、他人顔のパラメータと別顔群のパラメータとを比較して別顔群から別顔を選択する手段と、選択した別顔を使って他人顔を置き換える手段とを有する。さらに、別顔に置き換えたことを映像に表示する手段を有してもよい。より具体的には以下のようにする。

【0010】

別顔が映った映像群をまとめる手段は、実際の人物の写真を集めておく、又はコンピュータグラフィックス（「ＣＧ」と略す。）によって作成した映像群を集めておく、又はＣＧによって随時作成する手段である。また、別顔が映った映像群から別顔群を抽出する手段は、コンピュータービジョン（「ＣＶ」と略す。）の技術などを使って抽出する手段である。抽出結果は長方形や立方体などである。また、抽出した別顔群のパラメータを推定する手段は、ＣＶの技術などを使って推定する手段である。顔のパラメータとしては、68点のランドマークや表情、男女判定などである。

【0011】

撮影した映像から他人顔を抽出する手段は、ＣＶの技術などを使って抽出する手段であり、先述の別顔が映った映像群から別顔群を抽出する手段と同様である。また、抽出した他人顔のパラメータを推定する手段は、ＣＶの技術などを使って抽出する手段であり、先述の抽出した別顔群のパラメータを推定する手段と同様である。

【0012】

他人顔のパラメータと別顔群のパラメータとを比較して別顔群から別顔を選択する手段は、他人顔のパラメータと、別顔群の中にある別顔のパラメータとを比較して、すべての他人顔に対する別顔を決める。ビデオの場合は前フレームで使った別顔があれば同じ人物の別顔を利用する。立体視用の映像においては各視点の別顔は同じにする。

【0013】

選択した別顔を使って他人顔を置き換える手段は、ＣＶの技術などを使って置き換える手段である。アフィン変換や色合補正などを使う。

【0014】

別顔に置き換えたことを映像に表示する手段は、「この映像の中の顔は本人とは異なる人物の顔に置き換わってます」などの文章や、簡易的に伝えることができるピクトグラムのような画像などを、映像に上書きする手段である。

【発明の効果】

【0015】

本発明の処理によれば、映像を撮影した後に他人顔を別顔に置き換えることで、その場の雰囲気を損なわずに、かつ他人のプライバシを保護することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の処理を示すフローチャートである。撮影した映像の処理をする前に、あらかじめ別顔が映った映像の処理をする。

【図2】本発明の処理を示すフローチャートである。図１との違いは、別顔に置き換えたことを映像に表示する処理２５０の位置である。処理２５０は撮影した映像に重畳する処理になるが、他人顔を置き換える処理とは独立して行えるため自由なタイミングで行ってよい。つまり処理２５０に関しては図１と図２は例であり、これに限らなくてよい。

【図3】本発明の処理を示すフローチャートである。図１との違いは、撮影した映像に写っている他人顔を参考にして別顔をＣＧで作成する点である。

【図4】本発明によって処理した結果である。(a)は撮影した写真で(b)は置換後の写真である。わかりやすいように、(c)は他人顔の一つのみを拡大した写真、(d)はその別顔を拡大した写真である。

【発明を実施するための形態】

【0017】

以下に、この発明の実施の形態を図面に基づいて詳細に説明する。以下の説明においては、同じ目的をもった処理に、特別な理由がない場合には同じ符号を用いるものとする。また、「処理１１０」などという記載は「別顔が映った映像群をまとめる処理１１０」などを示す。

【0018】

〔図１に示した具体例〕
図１は本発明の処理を示すフローチャートである。以下、本発明の処理は、まず別顔の写った映像の処理１００を行い、次に撮影した映像の処理２００を行う。処理２００は変換対象の写真を撮影した後に行うが、処理１００は前でも後でもよい。

【0019】

別顔が映った映像群をまとめる処理１１０は、実際の人物の映像を集めておく、又はコンピュータグラフィックス（以下、ＣＧと略す）によって作成した映像群を集めておく、又はＣＧによって随時作成する処理である。実際の人物の映像の場合、(1)様々な方向から撮影した映像、(2)様々な表情が写った映像、(3)髪が顔にかかってない映像、(4)たくさんの人物、(5)同一人物かどうかがわかっている映像、といった点を考慮したものであるのが望ましい。ＣＧによって作成した映像の場合も上記を考慮してレンダリングしたものであるのが望ましい。ＣＧによって随時作成する処理の場合には、処理２２０で検出されたパラメータに類似した値又は同じ値でレンダリングできるのが望ましい。処理１１０で作った映像群は、別顔が映った映像群１１１として次に続く処理で用いる。

【0020】

別顔が映った映像群から別顔群を抽出する処理１２０は、機械学習やディープラーニングなどの技術を使って抽出する処理である。抽出技術の詳細は限定しないが、次に続く処理で用いることができる抽出結果である必要がある。現時点では長方形や立方体などである。抽出技術によっては別顔の画素数が少ない場合に誤抽出する可能性が高くなるため、所定の画素数以上に限定して抽出するのが望ましい。

【0021】

抽出した別顔群のパラメータを推定する処理１３０は、前の処理結果から、機械学習やディープラーニングなどの技術を使って別顔群のパラメータを推定する処理である。現時点では顔のパラメータとしては、68点のランドマークや表情、男女判定などがあるが、これらに限る必要はない。処理１３０で作った映像群は、別顔群とそのパラメータ１３１として次に続く処理で用いる。パラメータを推定する際に、推定精度を高めるために、映像を回転させたうえで検出しても良い。また、たとえば全天周映像のように顔の向きが画像の位置によっておおよそ決まっている場合には、特定の回転を行ったうえで検出しても良い。また、また、たとえば全天周映像のように映像に歪があることがあらかじめわかっている映像の場合には、歪を除去したうえで検出しても良い。また、立体視用の写真の場合には右眼と左眼とで、ビデオの場合に前フレームと現フレームとでパラメータを大きく変えないといった処理をしても良い。

【0022】

撮影した映像から他人顔を抽出する処理２１０は、処理１２０と同様である。

【0023】

抽出した他人顔のパラメータを推定する処理２２０は、処理１３０と同様である。

【0024】

他人顔のパラメータと別顔群のパラメータとを比較して別顔群から別顔を選択する処理２３０は、他人顔のパラメータと、別顔群の中にある別顔のパラメータとを比較して違いを記憶する。同じ計算を別顔群の中にあるすべての別顔で行い、違いが小さい別顔を選択する。上記の計算をすべての他人顔に対して行って、すべての他人顔に対する別顔を決める。また、意図的に楽しい雰囲気の写真に変えたい時などは、違いが小さいものを選択しなくても良い。

【0025】

他人顔のパラメータと、別顔群の中にある別顔のパラメータとを比較は、例えば各パラメータの差を積算する。パラメータによって重要度が違う場合には積算の前に重みを乗じる。この方法は一例であり、これに限定するものではない。

【0026】

以上は写真の場合であり、ビデオの場合は前フレームで使った別顔があれば同じ人物の別顔を利用する。立体視用の映像においては各視点の別顔は同じにする。これらの処理を実行するためには、処理１１０での説明にある通り、同一人物かどうかがわかっている映像をもとに別顔群とそのパラメータ１３１を作るのが望ましい。

【0027】

選択した別顔を使って他人顔を置き換える処理２４０では、ＣＶの技術などを使って置き換える手段である。例えば、他人顔の68点のランドマークと、別顔の68点のランドマークとから対応する点が極力近くになるようなアフィン変換行列を求めて、別顔にアフィン変換を行い他人顔のランドマークに近づける。その後に他人顔の色の平均値と別顔の色の平均値が同じになるように色変換テーブルを求めて、別顔に色変換を行い他人顔の色に近づける。その後に他人顔のランドマークで囲われた範囲内を別顔に置き換える。その後に置き換えた周辺部分をぼかす。この方法は一例であり、これに限定するものではない。

【0028】

例えば自分だけは別顔に変えないなど、特定の人物だけは置き換えないという処理を含むのが望ましい。置き換えない顔の選択は自動でもユーザにゆだねても構わない。

【0029】

別顔に置き換えたことを映像に表示する処理２５０では、「この映像の中の顔は本人とは異なる人物の顔に置き換わってます」などの文章や、簡易的に伝えることができるピクトグラムのような画像などを、映像に上書きする手段である。文字やピクトグラムが見やすくなるように、縁取りの文字にするなどが望ましい。この処理は実際に行っても行わなくてもどちらでも構わない。

【0030】

以上の各処理を順次行うことで他人顔を別顔に置き換えることができる。

【0031】

〔図２に示した具体例〕
図２は本発明の処理を示すフローチャートである。

【0032】

図１との違いは、処理２５０の位置である。処理２５０は撮影した映像に重畳する処理になるが、他人顔を置き換える処理とは独立して行えるため自由なタイミングで行ってよい。よって、図１に示す位置ではなく、図２に示す位置でもよい。また、これらの位置は例であり、これらに限らなくてよい。

【0033】

〔図３に示した具体例〕
図３は本発明の処理を示すフローチャートである。

【0034】

図１との違いは、撮影した映像に写っている他人顔のパラメータを使って別顔をＣＧで作成する点である。例えば、表情のパラメータに応じてあらかじめ用意してある顔に貼りつけるテクスチャを切り替える。これは一例であり、これに限らなくてよい。

【0035】

図３では、処理１００を変換対象の写真を撮影する前には実施できない。

【0036】

本発明がこの明細書等に記載した実施態様、実施例ないし具体例に限定されないことは勿論である。

【符号の説明】

【0037】

１００ 別顔が映った映像の処理
１１０ 別顔が映った映像群をまとめる処理
１２０ 別顔が映った映像群から別顔群を抽出する処理
１３０ 抽出した別顔群のパラメータを推定する処理
２００ 撮影した映像の処理
２１０ 撮影した映像から他人顔を抽出する処理
２２０ 抽出した他人顔のパラメータを推定する処理
２３０ 他人顔のパラメータと別顔群のパラメータとを比較して別顔群から別顔を選択する処理
２４０ 選択した別顔を使って他人顔を置き換える処理
２５０ 別顔に置き換えたことを映像に表示する処理

【図1】

【図2】

【図3】

【図4】