ホーム > 特許ランキング > ＫＳコンサルタント株式会社
▶ ＫＳコンサルタント株式会社の特許一覧 ▶ ＡＩサポート株式会社の特許一覧
特許7473894画像処理方法、画像処理装置及びそのコンピュータプログラム並びにヒトの顔の撮影処理方法及びその装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-16
(45)【発行日】2024-04-24
(54)【発明の名称】画像処理方法、画像処理装置及びそのコンピュータプログラム並びにヒトの顔の撮影処理方法及びその装置
(51)【国際特許分類】
G06T 11/80 20060101AFI20240417BHJP
G06T 1/00 20060101ALI20240417BHJP
G06T 3/18 20240101ALI20240417BHJP
G06T 3/147 20240101ALI20240417BHJP
【ＦＩ】
G06T11/80 A
G06T1/00 340A
G06T3/18
G06T3/147
【請求項の数】
21
(21)【出願番号】P 2020068715
(22)【出願日】2020-04-07
(65)【公開番号】P2021165917
(43)【公開日】2021-10-14
【審査請求日】2022-11-15
(73)【特許権者】
【識別番号】512256454
【氏名又は名称】ＫＳコンサルタント株式会社
(73)【特許権者】
【識別番号】520078259
【氏名又は名称】ＡＩサポート株式会社
(74)【代理人】
【識別番号】100095577
【弁理士】
【氏名又は名称】小西 富雅
(74)【代理人】
【識別番号】100100424
【弁理士】
【氏名又は名称】中村 知公
(72)【発明者】
【氏名】伊藤 博文
(72)【発明者】
【氏名】北岡 茂樹
【審査官】松永 隆志
(56)【参考文献】
【文献】特開２００４－３２９７１３（ＪＰ，Ａ）
【文献】特開２００９－０３３２４９（ＪＰ，Ａ）
【文献】特開２０１３－１３８４５７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／２１３６０４（ＵＳ，Ａ１）
【文献】特表２００９－５３３７８６（ＪＰ，Ａ）
【文献】特開２００７－１５６９４５（ＪＰ，Ａ）
【文献】米国特許第８４１３２１８（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法であって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成ステップと、
前記第２の画像から所定のルールでレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
【請求項2】
前記第１の生成ステップの所定の画像合成方法はワーピング若しくはモーフィングであり、前記第２の生成ステップの所定の方法はアフィン変換を用いた画像処理である、請求項１に記載の画像処理方法。
【請求項3】
前記第１の生成ステップでは、前記第３の画像に現れる前記第１の画像の強度を７０～８０％とする、請求項２に記載の画像処理方法。
【請求項4】
前記第２の画像の顔の領域の特徴を表現する第２の指標を所定のルールで特定しておき、該第２の指標に基づき前記第１の画像を取得するステップが更に備えられる、請求項１～３の何れかに記載の画像処理方法。
【請求項5】
撮影したヒトの画像を前記所定のルールで処理して、該撮影したヒトの画像の顔の領域の特徴を表現する第１の指標を特定し、該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する、請求項４に記載の画像処理方法。
【請求項6】
前記第１の画像としてヒトの画像を採用し、前記第２の画像としてキャラクタの画像を採用する、請求項１～５の何れかに記載の画像処理方法。
【請求項7】
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法であって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成ステップと、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
【請求項8】
前記第１の生成ステップの所定の画像合成方法はワーピング若しくはモーフィングであり、前記第２の生成ステップの所定の方法はアフィン変換を用いた画像処理である、請求項７に記載の画像処理方法。
【請求項9】
前記第１の生成ステップでは、前記第３の画像に現れる前記第１の画像の強度を７０～８０％とする、請求項８に記載の画像処理方法。
【請求項10】
前記第２の画像のヒト顔の領域の特徴を表現する第２の指標を所定のルールで特定しておき、該第２の指標に基づき前記第１の画像を取得するステップが更に備えられる、請求項７～９の何れかに記載の画像処理方法。
【請求項11】
撮影したヒトの画像を前記所定のルールで処理して、該撮影したヒトの画像の顔の領域の特徴を表現する第１の指標を特定し、該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する、請求項１０に記載の画像処理方法。
【請求項12】
画像を所定のルールに基づき処理して該画像の特徴を表現する指標を特定する指標特定部と、ターゲットとなる第２の画像を前記指標特定部で特定された、前記第２の画像の特徴を表現する第２の指標を保存する第２の指標メモリ部と、
画像撮影部と、指標比較部と、第１の指標メモリ部と、第１の画像取得部とを備え、
前記画像撮影部にヒトの画像を撮影させ、
前記指標特定部に、前記撮影されたヒトの画像を前記所定のルールで処理させて第１の指標を特定させ、
前記第１の指標メモリ部に、特定された前記第１の指標を保存させ、
前記指標比較部に、前記第１の指標と前記第２の指標とを比較させ、
前記第１の画像取得部に、前記指標比較部の比較結果に基づき、前記画像撮影部で撮影されたヒトの画像の中から保存すべき第１の画像を取得させる、
ヒトの顔の撮影処理方法。
【請求項13】
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理装置であって、
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成部と、
前記第２の画像から所定のルールで形成されるレイヤーを形成するレイヤー形成部と、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
【請求項14】
前記第１の生成部の所定の画像合成方法はワーピング若しくはモーフィングであり、前記第２の生成部の所定の方法はアフィン変換を用いた画像処理である、請求項１３に記載の画像処理装置。
【請求項15】
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理装置であって、
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくする第１の生成部と、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成装置と、
を備えてなる画像処理装置。
【請求項16】
前記第１の生成部の所定の画像合成方法はワーピング若しくはモーフィングであり、前記第２の生成装置の所定の方法はアフィン変換を用いた画像処理である、請求項１５に記載の画像処理装置。
【請求項17】
画像を所定のルールに基づき処理して該画像の特徴を表現する指標を特定する指標特定部と、ターゲットとなる第２の画像を前記指標特定部で特定された、前記第２の画像の特徴を表現する第２の指標を保存する第２の指標メモリ部と、
ヒトの顔を撮影する画像撮影部と、
該画像撮影部で撮影されたヒトの画像について前記指標特定部で特定された第１の指標を保存する第１の指標メモリ部と、
該第２の指標と前記第１の指標とを比較する指標比較部と、
該指標比較部による比較結果に基づき、前記画像撮影部で撮影されたヒトの画像の中から保存すべき第１の画像を取得する第１の画像取得部と、
を備えているヒトの顔の撮影処理装置。
【請求項18】
第１の画像を保存する第１のメモリ部と、第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなり、第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成させ、ここに、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記レイヤー形成部に、前記第２の画像から所定のルールでレイヤーを形成させ、
前記第２の生成部に、前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成させる、
プログラム。
【請求項19】
前記第１の生成部で用いられる前記所定の画像合成方法はワーピング若しくはモーフィングであり、前記第２の生成部で用いられる所定の方法はアフィン変換を用いた画像処理である、請求項１８に記載のプログラム。
【請求項20】
第１の画像を保存する第１のメモリ部と、第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなり、第１の画像に含まれるヒト顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成させ、ここに、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の生成部に、前記第３の画像と前記第２の画像とを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成させる、
プログラム。
【請求項21】
前記第１の生成部で用いられる前記所定の画像合成方法はワーピング若しくはモーフィングであり、前記第２の生成部で用いられる所定の方法はアフィン変換を用いた画像処理である、請求項２０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理方法、画像処理装置及びそのコンピュータプログラム並びにヒトの顔の撮影処理方法及びその装置に関する。
【背景技術】
【0002】
ゲームの利用者がよりゲームを楽しみ、かつゲームと一体感を持てるように、ゲームの利用者の顔をゲームのキャラクタの顔へ合体させることが望まれている。
そのため、ヒトの画像（ソース画像）の顔の領域をキャラクタの画像（ターゲット画像）の顔の領域に合体させる方法が、下記のＵＲＬに提案されている。
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
かかる画像処理方法では、dlibその他のライブラリィを用いた処理でソース画像及びターゲット画像の顔の領域のlandmarks（顔の６４の特徴点）を抽出し、抽出した顔の６４の特徴点を下記式に代入してアフィン変換を行う。
ソース画像からlandmarksを抽出した領域を切り抜いて、それとターゲット画像において対応する顔の領域とを、色情報を加味して合体させる。これにより、ソース画像の顔の領域がターゲット画像の顔の領域に合体される。
また、本願発明に関連する技術を開示する文献として、特許文献１を参照されたい。
そのため、ヒトの画像（ソース画像）の顔の領域をキャラクタの画像（ターゲット画像）の顔の領域に合体させる方法が、下記のＵＲＬに提案されている。
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
かかる画像処理方法では、dlibその他のライブラリィを用いた処理でソース画像及びターゲット画像の顔の領域のlandmarks（顔の６４の特徴点）を抽出し、抽出した顔の６４の特徴点を下記式に代入してアフィン変換を行う。
【数1】
また、本願発明に関連する技術を開示する文献として、特許文献１を参照されたい。
【先行技術文献】
【特許文献】
【0003】
【文献】特許５９７６１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
アフィン変換を用いた上記の画像処理を用いれば、ゲーム利用者の画像（ソース画像）の顔の領域をキャラクタの画像（ターゲット画像）の顔の領域へ合体させられる。しかしながら、キャラクタの顔における各部位の比率がヒトの顔のそれと極端に異なるものであったとき、アフィン変換を用いた上記画像処理で合体された顔の領域には不自然さが残ることがある。
【課題を解決するための手段】
【0005】
本発明者は、上記のようにして合体された顔の領域の画像から不自然さを取り除くべく、鋭意検討を重ねてきた。
その結果、アフィン変換を用いた画像処理により顔の領域の画像を合体させる際に、ソース画像とターゲット画像とを前処理しておくことに気が付いた。そして、ソース画像（第１の画像）とターゲット画像（第２の画像）とをワーピング若しくはモーフィングしてそれらの中間合成画像（第３の画像）を生成し、このように生成された中間合成画像（第３の画像）とターゲット画像から得たレイヤーとを上記アフィン変換を用いた画像処理の対象とする。上記中間合成画像（第３の画像）には、ソース画像（第１の画像）の影響がターゲット画像（第２の画像）のそれより強く反映されるようにする。ここに、ターゲット画像（第２の画像）から形成されたレイヤーにはターゲット画像（第２の画像）の影響のみが反映されているので、当該レイヤーとソース画像（第１の画像）の影響が色濃い中間合成画像（第３の画像）とをアフィン変換を用いた画像処理の対象としたとき、得られた完成画像（第４の画像）の顔の領域にはソース画像及びターゲット画像の影響が融合されて現れ、そこからは不自然さが取り除かれている。
その結果、アフィン変換を用いた画像処理により顔の領域の画像を合体させる際に、ソース画像とターゲット画像とを前処理しておくことに気が付いた。そして、ソース画像（第１の画像）とターゲット画像（第２の画像）とをワーピング若しくはモーフィングしてそれらの中間合成画像（第３の画像）を生成し、このように生成された中間合成画像（第３の画像）とターゲット画像から得たレイヤーとを上記アフィン変換を用いた画像処理の対象とする。上記中間合成画像（第３の画像）には、ソース画像（第１の画像）の影響がターゲット画像（第２の画像）のそれより強く反映されるようにする。ここに、ターゲット画像（第２の画像）から形成されたレイヤーにはターゲット画像（第２の画像）の影響のみが反映されているので、当該レイヤーとソース画像（第１の画像）の影響が色濃い中間合成画像（第３の画像）とをアフィン変換を用いた画像処理の対象としたとき、得られた完成画像（第４の画像）の顔の領域にはソース画像及びターゲット画像の影響が融合されて現れ、そこからは不自然さが取り除かれている。
【0006】
以上より、この発明の第１の局面は次のように規定される。
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の画像から所定のルールに基づきレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
上記において、第１の画像はヒトを対象とし、第２の画像はゲーム等のキャラクトを対象とすることができる。
第３の画像に現れる前記第１の画像の強度は７０～８０％とすることが好ましい。
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の画像から所定のルールに基づきレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
上記において、第１の画像はヒトを対象とし、第２の画像はゲーム等のキャラクトを対象とすることができる。
第３の画像に現れる前記第１の画像の強度は７０～８０％とすることが好ましい。
【0007】
ターゲット画像（第２の画像）としてキャラクを採用するときは、上記のように、アフィン変換を用いた画像処理の対象としてレイヤーと上記中間合成画像（第３の画像）とを採用することにより、たとえ、ターゲット画像の顔の領域を構成する各部位の比率とソース画像の顔の領域のそれとが大きく異なっていても、得られる完成画像（第４の画像）の顔の領域は自然なものとなった。
本発明者の検討によれば、ソース画像（第１の画像）とターゲット画像（第２の画像）として共にヒトの画像を採用したときは、前処理として上記中間合成画像（第３の画像）を作成し、これとターゲット画像（第２の画像）とをアフィン変換を用いた画像処理の対象とすることにより得られた完成画像（第５の画像）の顔の領域が自然なものとなった。
換言すれば、第１の局面と比べて、レイヤーの作成が省略できる。
本発明者の検討によれば、ソース画像（第１の画像）とターゲット画像（第２の画像）として共にヒトの画像を採用したときは、前処理として上記中間合成画像（第３の画像）を作成し、これとターゲット画像（第２の画像）とをアフィン変換を用いた画像処理の対象とすることにより得られた完成画像（第５の画像）の顔の領域が自然なものとなった。
換言すれば、第１の局面と比べて、レイヤーの作成が省略できる。
【0008】
よって、この発明の第２の局面は次のように規定される。
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第３の画像と前記第２の画像とをアフィン変換を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
ここにおいて、第３の画像に現れる前記第２の画像の強度は７０～８０％とすることが好ましい。
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第３の画像と前記第２の画像とをアフィン変換を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
ここにおいて、第３の画像に現れる前記第２の画像の強度は７０～８０％とすることが好ましい。
【0009】
上記各局面では、第１の生成ステップにおいてワーピング若しくはモーフィングの手法を採用して第３の画像を生成していたが、同様の他の方法の採用を妨げるものではない。また、第２の生成ステップにおいてはアフィン変換を用いた画像処理を採用していたが、ソース画像の顔の領域をターゲット画像の顔の領域へ合体させることができるのであれば、他の方法の採用を妨げるものではない。
上記の説明を敷衍すれば、この発明の第３の局面は次のように規定できる。
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の画像から所定のルールで形成されるレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
上記の説明を敷衍すれば、この発明の第３の局面は次のように規定できる。
第１の画像に含まれる顔の領域を第２の画像に含まれる顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第２の画像から所定のルールで形成されるレイヤーを形成するレイヤー形成ステップと、
前記第３の画像と前記レイヤーとを所定の方法を用いて画像処理して、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
【0010】
同様にこの発明の第４の局面は次のように規定できる。
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
第１の画像に含まれるヒトの顔の領域を第２の画像に含まれるヒトの顔の領域に合体させる画像処理方法あって、
前記第１の画像と前記第２の画像とを所定の画像合成方法で処理して第３の画像を生成する第１の生成ステップであって、該第３の画像において前記第１の画像の強度を前記第２の画像より大きくし、
前記第３の画像と前記第２の画像とを所定の方法用いて画像処理して、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成ステップと、
を備えてなる画像処理方法。
【0011】
この発明の第５の局面は次のように規定される。即ち、
第１～４の何れか局面に規定の画像処理方法において、前記第２の画像の顔の領域の特徴を表現する第２の指標を所定のルールで特定しておき、
該第２の指標に基づき前記第１の画像を取得する。
このように規定される第５の局面の画像処理方法によれば、第２の画像の顔の領域の特徴に合わせて第１の画像が取得されるので、両者を合体処理が容易になる。
第１～４の何れか局面に規定の画像処理方法において、前記第２の画像の顔の領域の特徴を表現する第２の指標を所定のルールで特定しておき、
該第２の指標に基づき前記第１の画像を取得する。
このように規定される第５の局面の画像処理方法によれば、第２の画像の顔の領域の特徴に合わせて第１の画像が取得されるので、両者を合体処理が容易になる。
【0012】
上記において、第２の画像をターゲット画像とし、第１の画像をソース画像としてヒトの画像を採用するとき、第２の画像に含まれる顔の領域の特徴に合わせてヒトの顔を撮影することが好ましい。
よって、この発明の第６の局面は次のように規定される。即ち、
第５の局面に規定の画像処理方法において、撮影したヒトの画像を前記所定のルールで処理して、該撮影したヒトの画像の顔の領域の特徴を表現する第１の指標を特定し、
該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する。
以上、各局面において、第１の画像としてヒトの画像を採用し、第２の画像としてキャラクタの画像を採用することができる（第７の局面）。
よって、この発明の第６の局面は次のように規定される。即ち、
第５の局面に規定の画像処理方法において、撮影したヒトの画像を前記所定のルールで処理して、該撮影したヒトの画像の顔の領域の特徴を表現する第１の指標を特定し、
該第１の指標と前記第２の指標とを比較して、両者が近似しているときに、前記撮影したヒトの画像を第１の画像として取得する。
以上、各局面において、第１の画像としてヒトの画像を採用し、第２の画像としてキャラクタの画像を採用することができる（第７の局面）。
【0013】
以下、既述の第１及び第２の局面に規定の処理方法は、画像処理装置として把握することもできる。即ち、この発明の第８の局面は次のように規定される。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の画像と第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする第１の生成部と、
前記第２の画像から所定のルールに基づきレイヤーを形成するレイヤー形成部と、
前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の画像と第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする第１の生成部と、
前記第２の画像から所定のルールに基づきレイヤーを形成するレイヤー形成部と、
前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
【0014】
この発明の第９の局面は次のように規定される。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の画像と第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする第１の生成部と、
前記第３の画像と前記第２の画像とをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の画像と第２の画像とをワーピング若しくはモーフィングして第３の画像を生成する第１の生成部であって、該第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする第１の生成部と、
前記第３の画像と前記第２の画像とをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成する第２の生成部と、
を備えてなる画像処理装置。
【0015】
この発明は、また、コンピュータ用のプログラムとしても把握することができる。即ち、この発明の第１０の局面は次のように規定される。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなる、画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と第２の画像とをワーピングして第３の画像を生成させ、第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする、
前記レイヤー形成部に、前記第２の画像から所定のルールに基づきレイヤーを形成させ、
前記第２の生成部に、前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成させる、
プログラム。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の生成部と、レイヤー形成部と、第２の生成部とを備えてなる、画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と第２の画像とをワーピングして第３の画像を生成させ、第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする、
前記レイヤー形成部に、前記第２の画像から所定のルールに基づきレイヤーを形成させ、
前記第２の生成部に、前記第３の画像と前記レイヤーとをアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる顔の領域を前記レイヤーに含まれる顔の領域に合体させて第４の画像を生成させる、
プログラム。
【0016】
この発明の第１１の局面は次のように規定される。即ち、
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の生成部、及び第２の生成部を備えてなる、画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と第２の画像とをワーピングして第３の画像を生成させ、第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする、
前記第２の生成部に、前記第３の画像と前記第２の画像をアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる第３の顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成させる、
プログラム。
第１の画像を保存する第１のメモリ部と、
第２の画像を保存する第２のメモリ部と、
第１の生成部、及び第２の生成部を備えてなる、画像処理装置を動作させるコンピュータ用のプログラムであって、
前記第１の生成部に、前記第１のメモリ部から前記第１の画像を読み込ませ、前記第２のメモリ部から前記第２の画像を読み込ませ、前記第１の画像と第２の画像とをワーピングして第３の画像を生成させ、第３の画像において前記第１の画像の強度を前記第２の画像の強度より大きくする、
前記第２の生成部に、前記第３の画像と前記第２の画像をアフィン変換を用いた画像処理の対象として、前記第３の画像に含まれる第３の顔の領域を前記第２の画像に含まれる顔の領域に合体させて第５の画像を生成させる、
プログラム。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下、この発明の実施の形態について説明する。
図１にこの発明の実施の形態の画像処理装置１の機能ブロック図を示す。
この画像処理装置１の第１の入力部１１から第１の画像が入力されて第１のメモリ部２１に保存される。第２の入力部１２から第２の画像が入力されて第２のメモリ部２２に保存される。
第２のメモリ部２２に保存されている第２の画像からレイヤー形成部３１によりレイヤーが形成される。ここにレイヤーとは、例えば、第２の画像の顔の領域であって、所定の部位、例えば目、鼻、口などを除去したものの画像である。レイヤーは任意に作成できるが、ヒトがヒトの顔を認識するに当たり強く印象を受ける部位を削除もしくは変形したものであって、削除若しくは変形前の顔のイメージの特徴が残されたものを指す。
図１にこの発明の実施の形態の画像処理装置１の機能ブロック図を示す。
この画像処理装置１の第１の入力部１１から第１の画像が入力されて第１のメモリ部２１に保存される。第２の入力部１２から第２の画像が入力されて第２のメモリ部２２に保存される。
第２のメモリ部２２に保存されている第２の画像からレイヤー形成部３１によりレイヤーが形成される。ここにレイヤーとは、例えば、第２の画像の顔の領域であって、所定の部位、例えば目、鼻、口などを除去したものの画像である。レイヤーは任意に作成できるが、ヒトがヒトの顔を認識するに当たり強く印象を受ける部位を削除もしくは変形したものであって、削除若しくは変形前の顔のイメージの特徴が残されたものを指す。
【0019】
第１の生成部３２は、第１のメモリ部２１から第１の画像を読み出し、かつ第２のメモリ部２２から第２の画像を読み出して、両者をモーフィングさせる。モーフィングには周知の手法を採用できる。例えば、下記のＷｅｂサイトで紹介されている手法を用いることができる。
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
なお、色を処理の対象としないときは、いわゆるワーピングの手法を採用できる。
https://matthewearl.github.io/2015/07/28/switching-eds-with-python/
なお、色を処理の対象としないときは、いわゆるワーピングの手法を採用できる。
【0020】
本願発明では、モーフィングを実行する際、第１の画像の影響が強く表れるようにする。
例えば、ターゲット画像である第２の画像としてキャラクタの画像を採用し、ソース画像である第１の画像をとしてヒトの画像を採用したとき、第１の画像の強度は７０～８０％とすることが好ましい。
第１の画像と第２の画像との形状の差に応じてこの強度は任意に設定可能である。
例えば、ターゲット画像である第２の画像としてキャラクタの画像を採用し、ソース画像である第１の画像をとしてヒトの画像を採用したとき、第１の画像の強度は７０～８０％とすることが好ましい。
第１の画像と第２の画像との形状の差に応じてこの強度は任意に設定可能である。
【0021】
第１の生成部３２により生成された第３の画像は、第２の生成部４１においてレイヤーと合体される。これにより完成画像（第４の画像）が生成される。
本願発明では、当該合体の方法として、従来周知のアフィン変換を用いた画像処理を採用した。即ち、第３の画像とレイヤーとがアフィン変換を用いた画像処理の対象とされ、もって、第３の画像の顔の領域がそれに対応するレイヤーの顔の領域に合体される。
このようにして生成された第４の画像は出力部４１から出力される。
本願発明では、当該合体の方法として、従来周知のアフィン変換を用いた画像処理を採用した。即ち、第３の画像とレイヤーとがアフィン変換を用いた画像処理の対象とされ、もって、第３の画像の顔の領域がそれに対応するレイヤーの顔の領域に合体される。
このようにして生成された第４の画像は出力部４１から出力される。
【0022】
図２には、第１の入力部１１の詳細を示す。
第１の入力部１１はカメラ部１２０と画像選択部１２４とを備えてなる。
カメラ部１２０は画像を撮影するＣＣＤ１２１と、撮影された画像を保存する画像メモリ１２２を備える。カメラ部１２０にはスマートフォンやＰＣに付属のカメラやデジタルカメラを用いることができる。
画像選択部１２４はクラウドサーバがその機能を奏する。カメラ部１１０と画像選択部１２４とはインターネットで繋がれている。指標特定部１２４１は所定のルールに基づき撮影した画像を処理して、処理した画像の特徴を表現する指標を特定する。
ヒトの顔はそのカメラに対する角度により輪郭が大きく異なるので、カメラに対する人の角度を上記特徴とすることができる。より具体的には、下記のＷｅｂサイトで紹介されるHead-pose-estimationの手法を利用することができる。
https://www.itd-blog.jp/entry/peep-prevention-1
第１の入力部１１はカメラ部１２０と画像選択部１２４とを備えてなる。
カメラ部１２０は画像を撮影するＣＣＤ１２１と、撮影された画像を保存する画像メモリ１２２を備える。カメラ部１２０にはスマートフォンやＰＣに付属のカメラやデジタルカメラを用いることができる。
画像選択部１２４はクラウドサーバがその機能を奏する。カメラ部１１０と画像選択部１２４とはインターネットで繋がれている。指標特定部１２４１は所定のルールに基づき撮影した画像を処理して、処理した画像の特徴を表現する指標を特定する。
ヒトの顔はそのカメラに対する角度により輪郭が大きく異なるので、カメラに対する人の角度を上記特徴とすることができる。より具体的には、下記のＷｅｂサイトで紹介されるHead-pose-estimationの手法を利用することができる。
https://www.itd-blog.jp/entry/peep-prevention-1
【0023】
指標特定部１２４１はカメラ部１２０のイメージメモリ１２２に保存されているヒトの画像を読み出して、その顔の特徴を表す指標を特定する。図２の例では、ヒトの顔のランドマークを形成して（図２Ｂ参照）、これから顔の方向を特定するベクトルが形成され、これを指標とする。
このようにして特定された指標を第１の指標として第１の指標メモリ部１２４５に保存する。
指標比較部１２４８は第１の指標メモリ部１２４５から上記のようにして特定された第１の指標を読み出し、同じく第２の指標メモリ部１２４６から予め求めておいた第２の指標を読み出し、両者を比較する。なお、この第２の指標は第２の画像(ターゲット画像)の顔の方向を特定するベクトルであって、予め保存されている。
比較の結果、第１の指標が第２の指標に近似しているとき、撮影された画像を第１の画像として取得して、第１のメモリ部に書き込む。
この指標比較部が画像取得部として機能する。
このようにして特定された指標を第１の指標として第１の指標メモリ部１２４５に保存する。
指標比較部１２４８は第１の指標メモリ部１２４５から上記のようにして特定された第１の指標を読み出し、同じく第２の指標メモリ部１２４６から予め求めておいた第２の指標を読み出し、両者を比較する。なお、この第２の指標は第２の画像(ターゲット画像)の顔の方向を特定するベクトルであって、予め保存されている。
比較の結果、第１の指標が第２の指標に近似しているとき、撮影された画像を第１の画像として取得して、第１のメモリ部に書き込む。
この指標比較部が画像取得部として機能する。
【0024】
第１の指標と第２の指標が近似していることは、第１の画像と第２の画像とはカメラに対する角度が近似していることを意味するので、第１の生成部２２におけるモーフィング処理が容易になる。
上記において、第１の指標と第２の指標の近似の度合い、換言すれば両者が近似しているか近似していないかのしきい値は任意に設定できる。例えば、カメラに対する角度の差を、上下左右に於いて±５度以内にすることができる。
また、カメラ１２０において、ＣＣＤ１２１からイメージメモリ１２２に書き込まれた撮影イメージを指標特定部１２４１でリアルタイム処理してもよいし、イメージメモリ１２２に予め保存されていた複数の撮影イメージを指標特定部１２４１でバッチ処理して、第１の指標に最も近い指標を示す撮影イメージを選択することもできる。
上記において、第１の指標と第２の指標の近似の度合い、換言すれば両者が近似しているか近似していないかのしきい値は任意に設定できる。例えば、カメラに対する角度の差を、上下左右に於いて±５度以内にすることができる。
また、カメラ１２０において、ＣＣＤ１２１からイメージメモリ１２２に書き込まれた撮影イメージを指標特定部１２４１でリアルタイム処理してもよいし、イメージメモリ１２２に予め保存されていた複数の撮影イメージを指標特定部１２４１でバッチ処理して、第１の指標に最も近い指標を示す撮影イメージを選択することもできる。
【0025】
図３に画像処理装置１のハード構成を示す。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、レイヤー形成部３１、第１の生成部３２、第２の生成部４１として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された不揮発性メモリである。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。入力装置３３０は第１の入力部１１及び第２の入力部１２として機能する。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３４０に格納されていてもよい。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、レイヤー形成部３１、第１の生成部３２、第２の生成部４１として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された不揮発性メモリである。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。入力装置３３０は第１の入力部１１及び第２の入力部１２として機能する。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３４０に格納されていてもよい。
【0026】
第１記憶装置３４０は第１のメモリ部１１及び第２のメモリ部１２として機能する。
第１記憶装置はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
第１記憶装置はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
【0027】
データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイやプリンタであり、第４の画像（完成画像）を可視化する。入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。
コンピュータを構成する各装置はシステムバス３７０で連結されている。
出力装置３２０はディスプレイやプリンタであり、第４の画像（完成画像）を可視化する。入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。
コンピュータを構成する各装置はシステムバス３７０で連結されている。
【0028】
次に、この画像処理装置の動作について図４のフローチャートを参照しながら説明する。
ステップ１では、第２の画像を指定する。この例では、第２の画像としてキャラクタの画像を採用した。
そして、この第２の画像を、第２の入力部１２を介して第２のメモリ部２２に保存する。レイヤー形成部３１は第２の画像から目、鼻及び口の部分を除去したレイヤーを形成する。更に、指標特定部１２４１の機能を利用して第１の画像についての第１の指標を特定して、第２の指標メモリ部１２４６に保存する。
ステップ１では、第２の画像を指定する。この例では、第２の画像としてキャラクタの画像を採用した。
そして、この第２の画像を、第２の入力部１２を介して第２のメモリ部２２に保存する。レイヤー形成部３１は第２の画像から目、鼻及び口の部分を除去したレイヤーを形成する。更に、指標特定部１２４１の機能を利用して第１の画像についての第１の指標を特定して、第２の指標メモリ部１２４６に保存する。
【0029】
ステップ３では、ヒトの顔の写真を撮影する。撮影された写真は、指標特定部１２４１で処理されてその特徴を表現する指標（第１の指標）が特定される(ステップ５)。
ステップ７では、この第１の指標が第２の指標と比較されて、両者が近似していないとき（ステップ７：ＮＯ）、撮影が繰り返される。第１の指標が第２の指標に近似しているとき（ステップ７：ＹＥＳ）、ステップ９に進んで、撮影された画像は第１の画像として第２のメモリ部１２へ書き込まれる。このとき、撮影された画像において不要な部分はトリミングすることができる。
ステップ７では、この第１の指標が第２の指標と比較されて、両者が近似していないとき（ステップ７：ＮＯ）、撮影が繰り返される。第１の指標が第２の指標に近似しているとき（ステップ７：ＹＥＳ）、ステップ９に進んで、撮影された画像は第１の画像として第２のメモリ部１２へ書き込まれる。このとき、撮影された画像において不要な部分はトリミングすることができる。
【0030】
ステップ１１では、第１の生成部３２により、第１のメモリ部１１に書き込まれたヒトを対象とした第１の画像と第２のメモリ部１２に保存されているキャラクタの画像とが合成される。合成の方法としてモーフィングを用いた。第１の画像の強度を７５％とした例（第３の画像、中間合成画像）が図４においてステップ１１の横に示されている。
【0031】
ステップ１３では第３の画像とレイヤーとを、アフィン変換を用いた画像処理の対象とし、第３の画像の顔の領域をレイヤーにおいて対応する領域に合体させる。これにより、完成画像（第４の画像）が得られる。
第１の画像と第２の画像を対象として、アフィン変換を用いた画像処理を実行して得られた画像を比較例１として示している。比較例２の画像は、アフィン変換を用いた画像処理の対象としてレイヤーと第１の画像を用いたときの例である。比較例２では顔を構成する目などの各部位に不自然な位置づれがみられる。
第１の画像と第２の画像を対象として、アフィン変換を用いた画像処理を実行して得られた画像を比較例１として示している。比較例２の画像は、アフィン変換を用いた画像処理の対象としてレイヤーと第１の画像を用いたときの例である。比較例２では顔を構成する目などの各部位に不自然な位置づれがみられる。
【0032】
図５には、他の実施の形態の画像処理装置１０１を示す。なお、図１の装置と同一の動作を奏する要素には、同一の符号を付してその説明を省略する。
図５に示す画像処理装置１０１は図１の画像処理装置１からレイヤー形成部３１を省略したものである。
図５の画像処理装置１０１の動作を示すフローチャートを図６に示す。なお、図４のフローチャートと同様の処理が実行されるステップには、同一の符号を付してその説明を省略する。
図５の画像処理装置１０１はソース画像（第１の画像）及びターゲット画像（第２の画像）としてともにヒトの画像を採用したときに好適に用いられる。
図５に示す画像処理装置１０１は図１の画像処理装置１からレイヤー形成部３１を省略したものである。
図５の画像処理装置１０１の動作を示すフローチャートを図６に示す。なお、図４のフローチャートと同様の処理が実行されるステップには、同一の符号を付してその説明を省略する。
図５の画像処理装置１０１はソース画像（第１の画像）及びターゲット画像（第２の画像）としてともにヒトの画像を採用したときに好適に用いられる。
【0033】
この例では、ステップ第１１３において、第３の画像と第２の画像と対象として、アフィン変換を用いた画像処理を実行して、第５の画像（完成画像を得る）。
比較例３は第１の画像と第２の画像とを対象としてアフィン変換を用いた画像処理を実行して得られた画像である。
比較例３は第１の画像と第２の画像とを対象としてアフィン変換を用いた画像処理を実行して得られた画像である。
【0034】
本発明の技術的範囲は、発明の詳細な説明の記載及び図面に限定されるものではなく、明細書の記載及び／又は図面を見た当業者が通常に把握できる範囲まで及ぶものである。
【符号の説明】
【0035】
１、１０１…画像処理装置
１１…第１のメモリ部
１２…第２のメモリ部
３１…レイヤー形成部
３２…第１の生成部
４１…第２の生成部
１２４１…指標特定部
１２４８…指標比較部
１１…第１のメモリ部
１２…第２のメモリ部
３１…レイヤー形成部
３２…第１の生成部
４１…第２の生成部
１２４１…指標特定部
１２４８…指標比較部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
