特許 7503757 情報生成装置、情報生成方法、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-13

(45)【発行日】2024-06-21

(54)【発明の名称】情報生成装置、情報生成方法、及び、コンピュータプログラム

(51)【国際特許分類】

   G16H 30/40 20180101AFI20240614BHJP

【ＦＩ】

G16H30/40

【請求項の数】 10

(21)【出願番号】P 2021519284

(86)(22)【出願日】2020-03-17

(86)【国際出願番号】 JP2020011714

(87)【国際公開番号】W WO2020230444

(87)【国際公開日】2020-11-19

【審査請求日】2022-12-28

(31)【優先権主張番号】P 2019090605

(32)【優先日】2019-05-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】田岡 宏毅

(72)【発明者】

【氏名】松本 博志

(72)【発明者】

【氏名】武井 一朗

【審査官】中元 淳二

(56)【参考文献】

【文献】特開２００２－２２１８９６（ＪＰ，Ａ）

【文献】特開２００８－００３７２４（ＪＰ，Ａ）

【文献】特開２００８－０２２１５４（ＪＰ，Ａ）

【文献】特開２００１－２１６３８６（ＪＰ，Ａ）

【文献】特開２００５－３１０１２４（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７６７９５０７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｑ ５０／２２

(57)【特許請求の範囲】

【請求項1】

人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理する情報管理部と、
前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示するマーキングＵＩ処理部と、
を備え、
前記情報管理部は、前記添削に基づく前記第１のユーザによるマーキングの修正を示す修正マーキング情報を管理し、
前記第２のユーザが承認した場合、前記マーキング情報及び前記修正マーキング情報に基づいて、前記画像における肌の特徴的な部分に対するマーキングを示す正解情報を生成する正解情報生成部、を更に備える、
情報生成装置。

【請求項2】

前記マーキングＵＩ処理部は、複数の前記第１のユーザから、前記画像に対する前記マーキングの入力を受け付け、
前記複数の第１のユーザから入力された複数のマーキングを統合して１つのマーキング情報を生成するマーキング情報生成部、を更に備える、
請求項１に記載の情報生成装置。

【請求項3】

前記マーキングＵＩ処理部は、前記マーキング情報が示すマーキングと前記正解情報が示すマーキングとの差異を表示する、
請求項１に記載の情報生成装置。

【請求項4】

前記画像に対して前記マーキング情報が示すマーキングを重畳表示し、前記第２のユーザから、前記マーキングに対する添削を受け付ける添削ＵＩ処理部と、
入力された添削に基づいて前記添削情報を生成する添削情報生成部と、を更に備える、
請求項１に記載の情報生成装置。

【請求項5】

前記添削情報は、添削範囲及び添削理由を示す情報を含み、
前記マーキングＵＩ処理部は、前記添削理由毎に異なる態様にて前記添削範囲を表示する、
請求項１に記載の情報生成装置。

【請求項6】

前記画像は、前記人物の第１の顔画像であり、
前記マーキングＵＩ処理部は、前記人物が同じであって前記第１の顔画像とは別の第２の顔画像を、前記第１の顔画像に含まれる顔に適合する形状に変形して表示する、
請求項１に記載の情報生成装置。

【請求項7】

前記画像は、前記人物の第１の顔画像であり、
前記マーキングＵＩ処理部は、前記人物が同じであって前記第１の顔画像とは別の第２の顔画像の正解情報が示すマーキングを、前記第１の顔画像に重畳表示する、
請求項１に記載の情報生成装置。

【請求項8】

前記肌の特徴的な部分は、前記肌のシミ、毛穴及び皺のうちの何れかである、
請求項１に記載の情報生成装置。

【請求項9】

装置が、人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理し、
前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示し、
前記添削に基づく前記第１のユーザによるマーキングの修正を示す修正マーキング情報を管理し、
前記第２のユーザが承認した場合、前記マーキング情報及び前記修正マーキング情報に基づいて、前記画像における肌の特徴的な部分に対するマーキングを示す正解情報を生成する、
情報生成方法。

【請求項10】

人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理し、
前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示し、
前記添削に基づく前記第１のユーザによるマーキングの修正を示す修正マーキング情報を管理し、
前記第２のユーザが承認した場合、前記マーキング情報及び前記修正マーキング情報に基づいて、前記画像における肌の特徴的な部分に対するマーキングを示す正解情報を生成する、
ことをコンピュータに実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報生成装置、情報生成方法、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

人物の肌を撮影した画像から、当該肌におけるシミ及び毛穴等を自動的に検出する様々なアルゴリズムが検討されている。例えば、特許文献１には、画像に含まれる人物の顔領域を分割し、各分割領域にて測定された輝度値の当該分割領域内における分布状況に基づき、顔領域内のシミ及び毛穴の状態を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０９２３５１号公報

【発明の概要】

【0004】

人物の肌を撮影した画像からシミ及び毛穴といった特徴的な部分を検出するアルゴリズムの精度を測定するためには、画像におけるその特徴的な部分を正確に特定した正解情報が求められる。このような正解情報を完全に自動で生成することは難しく、正解情報の生成過程の少なくとも一部には、ユーザによる作業が含まれる。

【0005】

本開示の非限定的な実施は、正解情報の生成過程におけるユーザの作業負荷を軽減する技術の提供に資する。

【0006】

本開示の一態様に係る情報生成装置は、人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理する情報管理部と、前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示するマーキングＵＩ処理部と、を備える。

【0007】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【0008】

本開示の非限定的な実施例によれば、正解情報の生成過程におけるユーザの作業負荷を軽減できる。

【0009】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】本実施の形態に係る情報生成装置の利用例を説明するための図

【図2】本実施の形態に係るアルゴリズム検証システムの構成例を示す図

【図3】本実施の形態に係る情報管理部における情報の管理例を示す図

【図4A】本実施の形態に係る顔画像の例を示す図

【図4B】本実施の形態に係るマーキングの例を示す図

【図4C】本実施の形態に係るＲＯＩ（Region Of Interest）の例を示す図

【図4D】本実施の形態に係る修正マーキングの例を示す図

【図4E】本実施の形態に係る正解マーキングの例を示す図

【図5】本実施の形態に係るマーキングの統合の例を示す図

【図6】本実施の形態に係るマーキングＵＩを用いたマーキングの入力を説明するための図

【図7】本実施の形態に係る添削ＵＩを用いたマーキングの添削を説明するための図

【図8】本実施の形態に係るマーキングＵＩを用いたマーキングの修正を説明するための図

【図9】本実施の形態に係る添削ＵＩを用いたマーキングの承認を説明するための図

【図10】本実施の形態に係る作業者のマーキングと正解マーキングとの重畳表示の例を示す図

【図11】本実施の形態に係る別の顔画像に対する正解マーキングの転写の例を説明するための図

【図12】本開示の実施の形態に係るハードウェア構成の一例を示す図

【発明を実施するための形態】

【0011】

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0012】

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0013】

＜情報生成装置の利用例＞
情報生成装置１００は、人物の顔を撮影した画像（以下「顔画像」という）におけるシミの領域を正確に示す正解情報を生成するための装置である。なお、以下では、顔画像を例に説明するが、本実施の形態は、顔画像に限られず、人物の肌を撮影した様々な画像（例えば、腕の画像及び脚の画像）に適用可能である。また、以下では、シミを例に説明するが、本実施の形態は、シミに限られず、肌の様々な特徴的な部分（例えば毛穴、皺、痣、及びそばかす等）に適用可能である。情報生成装置１００によって生成された正解情報は、人物の肌を撮影した画像における特徴的な部分を自動的に検出するアルゴリズムの精度の検証に有用である。

【0014】

図１を参照して、情報生成装置１００の利用例を説明する。

【0015】

情報生成装置１００は、第１のユーザの一例である作業者に対して、マーキングＵＩ５００（図６参照）を提供し、顔画像のシミに対するマーキングの入力を受け付ける（Ｓ１１）。作業者は、肌の専門家である必要はなく、例えば、報酬目的又はボランティア等で参加する一般人であってよい。

【0016】

複数の作業者は、それぞれ、マーキングＵＩ５００を操作し、同一人物の顔画像に対してマーキングを入力する（Ｓ１２）。

【0017】

情報生成装置１００は、各作業者によるマーキングを統合する（Ｓ１３）。例えば、複数の作業者のうち、所定の割合以上の作業者が行ったマーキングを残し、所定の割合未満の作業者が行ったマーキングを削除する。なお、マーキングの統合の詳細については後述する（図５参照）。

【0018】

情報生成装置１００は、第２のユーザの一例である専門家に対して添削ＵＩ６００（図７参照）を提供し、作業者が行ったマーキングに対する添削を受け付ける（Ｓ１４）。専門家は、顔画像におけるシミを正確に見極めることができる肌の専門家であり、例えば、医者及び医療従事者等であってよい。専門家は、添削者、管理者又は監督者等と呼ばれてもよい。

【0019】

専門家は、添削ＵＩ６００に表示されたマーキングが、顔画像のシミを正確に示していると判断した場合、マーキングを承認する（Ｓ１５：ＹＥＳ）。この場合、情報生成装置１００は、承認されたマーキングに基づき、正解情報を生成する（Ｓ１６）。

【0020】

一方、専門家は、添削ＵＩ６００に表示されたマーキングが、顔画像のシミを正確に示しているわけではないと判断した場合、添削ＵＩ６００を操作し、マーキングを添削する（Ｓ１７）。この場合、情報生成装置１００は、Ｓ１７による添削を含むマーキングＵＩ５００を作業者に提供し、作業者によるマーキングの修正を受け付ける（Ｓ１８）。

【0021】

各作業者は、マーキングＵＩ５００を操作し、添削に基づいてマーキングを修正する（Ｓ１９）。各作業者によって修正されたマーキングは、再度統合され（Ｓ１３）、添削ＵＩ６００を通じて、専門家に提供される（Ｓ１４）。なお、当該統合の対象は、修正されたマーキングのみであってよい。

【0022】

上述したＳ１３からＳ１９の処理を、専門家が承認（Ｓ１５：ＹＥＳ）するまで繰り返すことにより、顔画像のシミを正確に示す正解情報を生成できる。また、上述の処理によれば、シミを正確にマーキングするという負荷の大きい作業を専門家に担わせることなく、シミを正確に示す正解情報を生成できる。以下、詳細に説明する。

【0023】

＜アルゴリズム検証システムの構成＞
図２は、アルゴリズム検証システム１０の構成例を示す。アルゴリズム検証システム１０は、撮影装置２００、情報生成装置１００、及びアルゴリズム検証装置３００を備える。

【0024】

＜撮影装置＞
撮影装置２００は、例えばカメラであり、撮影部２０１を備える。撮影部２０１は、人物の顔を撮影して顔画像を生成し、当該顔画像を、情報生成装置１００が備える情報管理部１０１に格納する。

【0025】

＜情報生成装置＞
情報生成装置１００は、情報管理部１０１、マーキングＵＩ処理部１０２、マーキング情報生成部１０３、添削ＵＩ処理部１０４、添削情報生成部１０５、及び、正解情報生成部１０６を備える。

【0026】

情報管理部１０１は、図３に示すように、人物ＩＤ、顔画像、撮影日時、マーキング情報、添削情報、修正情報、及び正解情報を関連付けて管理する。
人物ＩＤは、人物を識別するための情報である。顔画像は、図４Ａに示すように、人物ＩＤが示す人物の顔画像２０である。顔画像２０にはシミ２１が含まれ得る。撮影日時は、顔画像２０を撮影した日時である。

【0027】

マーキング情報は、図４Ｂに示すように、顔画像２０のシミ２１に対して作業者が入力したマーキング２２を示す情報である。マーキング情報は、マーキング２２を入力した作業者の識別情報、及び／又は、マーキング２２が入力された日時を含んでよい。

【0028】

添削情報は、図４Ｃに示すように、マーキング２２に対して専門家が添削した範囲を示すＲＯＩ（Region Of Interest）２３を示す情報である。添削情報は、添削を行った専門家の識別情報、及び／又は、添削が行われた日時を含んでよい。

【0029】

修正情報は、図４Ｄに示すように、ＲＯＩ２３に基づいて作業者が入力した修正マーキング２４を示す情報である。修正情報は、修正マーキング２４を入力した作業者の識別情報、及び／又は、修正が行われた日時を含んでよい。

【0030】

正解情報は、図４Ｅに示すように、顔画像２０のシミ２１に対する正確なマーキングである正解マーキング２５を示す情報である。正解情報は、専門家が承認したマーキング情報及び／又は修正情報に基づいて生成される。正解情報は、承認を行った専門家の識別情報、及び／又は、承認が行われた日時を含んでよい。

【0031】

マーキングＵＩ処理部１０２は、作業者が、顔画像のシミに対してマーキング２２を入力したり、専門家によるＲＯＩ２３に基づいて修正マーキング２４を入力したりするためのマーキングＵＩ５００を提供する。例えば、マーキングＵＩ処理部１０２は、情報管理部１０１から、顔画像２０を取得してマーキングＵＩ５００に表示する。そして、マーキングＵＩ処理部１０２は、作業者から、顔画像２０のシミ２１に対するマーキング２２の入力を受け付ける。

【0032】

例えば、マーキングＵＩ処理部１０２は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報と添削情報とを取得し、顔画像２０に対して、マーキング情報が示すマーキング２２と、添削情報が示すＲＯＩ２３とを重畳表示する。そして、マーキングＵＩ処理部１０２は、作業者から、ＲＯＩ２３における修正マーキング２４の入力を受け付ける。なお、マーキングＵＩ５００の詳細については後述する（図６、図８参照）。

【0033】

マーキング情報生成部１０３は、マーキングＵＩ５００を通じて入力されたマーキング２２に基づき、マーキング情報を生成する。このとき、マーキング情報生成部１０３は、各作業者が入力したマーキング２２を統合してマーキング情報を生成してよい。なお、マーキングの統合の詳細については後述する。マーキング情報生成部１０３は、その生成したマーキング情報を、顔画像２０と関連付けて情報管理部１０１に格納する。また、マーキング情報生成部１０３は、マーキングＵＩ５００を通じて入力された修正マーキング２４に基づき、修正情報を生成する。マーキング情報生成部１０３は、その生成した修正情報を、情報管理部１０１に格納する。

【0034】

添削ＵＩ処理部１０４は、専門家が、顔画像のマーキング２２を添削及び承認するための添削ＵＩ６００を提供する。例えば、添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報とを取得し、顔画像２０に対して、マーキング情報が示すマーキング２２を重畳表示する。そして、添削ＵＩ処理部１０４は、専門家から、マーキング２２に対する添削又は承認を受け付ける。

【0035】

例えば、添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報と添削情報と修正情報とを取得し、顔画像２０に対して、マーキング情報が示すマーキング２２と、添削情報が示すＲＯＩ２３と、修正情報が示す修正マーキング２４とを重畳表示する。そして、添削ＵＩ処理部１０４は、専門家から、修正マーキング２４に対する、更なる添削又は承認を受け付ける。なお、添削ＵＩ６００の詳細については後述する（図７、図９参照）。

【0036】

添削情報生成部１０５は、添削ＵＩ６００を通じて入力されたＲＯＩ２３に基づき、添削情報を生成する。添削情報生成部１０５は、その生成した添削情報を、顔画像２０と関連付けて情報管理部１０１に格納する。

【0037】

正解情報生成部１０６は、添削ＵＩ６００にて承認されたマーキング２２及び／又は修正マーキング２４に基づき、正解マーキング２５を生成する。そして、正解情報生成部１０６は、その正解マーキング２５に基づいて正解情報を生成し、その正解情報を、顔画像２０と関連付けて情報管理部１０１に格納する。

【0038】

＜アルゴリズム検証装置＞
アルゴリズム検証装置３００は、アルゴリズム実行部３０１、及び、検出精度算出部３０２を備える。

【0039】

アルゴリズム実行部３０１は、顔画像２０からシミ２１を自動的に検出するアルゴリズムを実行し、その検出結果を示す情報（以下「検出結果情報」という）を出力する。

【0040】

検出精度算出部３０２は、情報管理部１０１から、アルゴリズム実行部３０１が用いた顔画像２０に関連付けられている正解情報を取得する。そして、検出精度算出部３０２は、その正解情報を用いて、アルゴリズム実行部３０１から出力された検出結果情報に対する検出精度を算出する。検出精度は、顔画像２０を構成する画素単位での、正解率（accuracy）、適合率（precision）、再現率（recall）、及び／又は、Ｆ値（F-measure）等によって表現されてよい。これにより、検出漏れ及び過剰な検出の両方の精度を算出できる。なお、検出精度は、顔画像２０の全体に対して算出されてもよいし、顔画像２０に設定した所定の範囲内に対して算出されてもよい。

【0041】

シミのような小さな肌疾患の部位に対する施術又はスキンケアの効果を立証するためには、画素レベルで正確な正解情報が求められる。正解情報は、顔画像２０におけるシミ２１を正確に見極めることができる専門家の添削を経て生成されているので、画素レベルで正確である。よって、アルゴリズム検証装置３００は、情報生成装置１００によって生成された正解情報を用いて、シミのような小さな肌疾患の部位を検出するアルゴリズムの検出精度を、正確に算出できる。

【0042】

＜マーキングの統合＞
図５を参照して、マーキングの統合の例を説明する。

【0043】

図５に示すように、マーキング情報生成部１０３は、複数の作業者の各々が入力したマーキング２２Ａ、２２Ｂ、２２Ｃ、２２Ｄを統合し、所定の割合以上の数の作業者がマーキングした領域４０１を、マーキング情報として生成してよい。所定の割合は、例えば、２０％、５０％、８０％等、任意に設定できてよい。

【0044】

＜マーキングの入力＞
図６は、マーキングＵＩ５００の一例を示す。図６を参照して、マーキングの入力例を説明する。

【0045】

マーキングＵＩ５００は、作業領域５０１、輪郭モードボタン５０２、マーキングモードボタン５０３、色変更ボタン５０４、マスクボタン５０５、参考画像表示ボタン５０６、正解マーキング転写ボタン５０７、登録ボタン５０８、添削結果表示ボタン５０９、及び、修正ボタン５１０を有する。

【0046】

マーキングＵＩ処理部１０２は、作業領域５０１に顔画像２０を表示し、作業者から、マーキング２２の入力を受け付ける。作業者は、例えばタッチペン又はマウスで、顔画像２０におけるシミ２１と思われる部分にマーキング２２を入力する。

【0047】

輪郭モードボタン５０２が押下（タッチ）されると、マーキングＵＩ処理部１０２は、作業領域５０１を、マーキング２２の輪郭を入力するための輪郭モードに切り替える。輪郭モードでは、入力された輪郭５２１の内部が自動的にマーキングされる（塗りつぶされる）。輪郭モードは、広範囲のシミをマーキングする場合に有用である。

【0048】

マーキングモードボタン５０３が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１を、マーキング２２を直接入力するためのマーキングモードに切り替える。マーキングモードでは、タッチされた部分がマーキングされる（塗りつぶされる）。マーキングモードは、小さなシミをマーキングする場合に有用である。なお、マーキングモードでは、マーキング２２のサイズ（例えば塗りぶつされる円の直径）を、マウスのホイールによって拡大及び縮小できてよい。

【0049】

色変更ボタン５０４が押下されると、マーキングＵＩ処理部１０２は、顔画像２０の色を変更する。色変更の例は、特定の色の強調、色の標準偏差による正規化、アンシャープマスク、及び、ガンマ補正等である。例えば、作業者は、表示中の顔画像２０からはシミと影の判別が難しい場合に、色を変更することにより、これらを判別し得る。

【0050】

マスクボタン５０５が押下されると、マーキングＵＩ処理部１０２は、顔画像２０におけるマーキングの禁止領域（例えば目の領域）に、マスク５２２を設定する。マーキングＵＩ処理部１０２は、顔画像２０に対する顔パーツの認識結果に基づいて自動的にマスク５２２を設定してもよい。マーキングＵＩ処理部１０２は、専門家による設定に基づいてマスク５２２を設定してもよい。マーキングＵＩ処理部１０２は、作業者から、マスク５２２の入力を受け付けてもよい。

【0051】

参考画像表示ボタン５０６が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１に表示中の顔画像２０と同一人物の別の顔画像を、別ウィンドウに表示する。別の顔画像は、表示中の顔画像２０と、明度及び／又は角度等が異なってよい。また、別の顔画像は、作業領域５０１に表示中の顔画像２０に対して位置合わせされて、別ウィンドウに表示されてよい。例えば、作業領域５０１に顔画像２０の一部範囲が拡大表示されている場合、別ウィンドウには、別の顔画像の同じ範囲が拡大表示されてよい。作業者は、作業領域５０１に表示中の顔画像２０ではシミと影の判別が難しい場合に、別ウィンドウの別の顔画像を参照することにより、これらを判別し得る。

【0052】

正解マーキング転写ボタン５０７が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１に表示中の顔画像２０に対して、同一人物の別の顔画像から生成済みの正解マーキング２５を転写する。この場合、マーキングＵＩ処理部１０２は、撮影日時が作業領域５０１に表示中の顔画像２０と最も近い別の顔画像の正解マーキング２５を転写してもよい。これにより、マーキングの作業効率が向上し得る。なお、正解マーキング２５の転写の詳細については後述する（図１１参照）。

【0053】

登録ボタン５０８が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１に入力されたマーキング２２を、マーキング情報生成部１０３に出力する。マーキング情報生成部１０３は、出力されたマーキング２２に基づいてマーキング情報を生成し、顔画像２０と関連付けて情報管理部１０１に格納する。

【0054】

添削結果表示ボタン５０９及び修正ボタン５１０については後述する（図８参照）。

【0055】

このように、マーキングＵＩ５００は、顔画像におけるシミを効率的にマーキングするための様々な機能を提供する。作業者は、マーキングＵＩ５００を通じて、効率的にシミをマーキングできる。

【0056】

なお、マーキングＵＩ５００は、作業者がシミのマーキングを練習するための練習用画像を作業領域５０１に表示してもよい。この場合、マーキングＵＩ５００は、練習用画像に対して、専門家が予め行ったマーキングを重畳表示してもよい。

【0057】

＜マーキングの添削＞
図７は、添削ＵＩ６００の一例を示す。図７を参照して、マーキングの添削例を説明する。

【0058】

添削ＵＩ６００は、添削領域６０１、添削理由ボタン６０２（６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ）、差し戻しボタン６０３、差分表示ボタン６０４、及び、承認ボタン６０５を有する。

【0059】

添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報のマーキング２２とを取得し、顔画像２０に対してマーキング２２を重畳表示する。そして、添削ＵＩ処理部１０４は、専門家から、ＲＯＩ２３の設定を受け付ける。専門家は、例えばタッチペン又はマウスで、マーキング２２の修正を指摘する範囲にＲＯＩ２３を設定する。

【0060】

添削理由ボタン６０２は、ＲＯＩ２３に対して、添削理由を対応付けるためのボタンである。

【0061】

例えば、専門家が、シミでないにも関わらず全てマーキングされている範囲にＲＯＩ２３Ａを設定し、「完全に過剰」の添削理由ボタン６０２Ａを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３Ａに対して、添削理由「完全に過剰」を対応付ける。

【0062】

例えば、専門家が、一部シミでない部分にマーキングされている範囲にＲＯＩ２３（図７に図示しない）を設定し、「部分的に過剰」の添削理由ボタン６０２Ｂを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３に対して、添削理由「部分的に過剰」を対応付ける。

【0063】

例えば、専門家が、一部のシミがマーキングされてない範囲にＲＯＩ２３Ｃを設定し、「部分的に欠落」の添削理由ボタン６０２Ｃを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３Ｃに対して、添削理由「部分的に欠落」を対応付ける。

【0064】

例えば、専門家が、シミであるにも関わらず全くマーキングされていない範囲にＲＯＩ２３Ｄを設定し、「完全に欠落」の添削理由ボタン６０２Ｄを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３Ｄに対して、添削理由「完全に欠落」を対応付ける。

【0065】

ＲＯＩ２３の表示態様は、当該ＲＯＩ２３に対応付けられた添削理由を一目で区別できるように、添削理由毎に、線の形状、線の太さ、及び／又は線の色などが異なってよい。例えば、図７に示すように、マーキングの欠落に関する添削理由が対応付けられたＲＯＩ２３Ｃ、２３Ｄは実線で表示され、マーキングの過剰に関する添削理由が対応付けられたＲＯＩ２３Ａは破線で表示されてよい。この場合、添削ＵＩ６００には、ＲＯＩ２３の表示態様の凡例が表示されてよい。

【0066】

差し戻しボタン６０３が押下されると、添削ＵＩ処理部１０４は、設定されたＲＯＩ２３及び添削理由を、添削情報生成部１０５に出力する。添削情報生成部１０５は、その出力されたＲＯＩ２３及び添削理由を含む添削情報を生成し、顔画像２０と関連付けて情報管理部１０１に格納する。

【0067】

差分表示ボタン６０４及び承認ボタン６０５については後述する（図９参照）。

【0068】

このように、添削ＵＩ６００は、作業者が行ったマーキング２２を効率的に添削するための様々な機能を提供する。よって、専門家は、添削ＵＩ６００を操作して、作業者が行ったマーキング２２を効率的に添削できる。

【0069】

なお、添削理由の入力は、上述した添削理由ボタン６０２による選択的な入力に限られない。例えば、添削ＵＩ６００は、ＲＯＩ６２０に対して任意の添削理由を入力するための機能を提供してよい。

【0070】

＜マーキングの修正＞
図８を参照して、マーキングの修正例を説明する。なお、図８に示すマーキングＵＩ５００は、図６に示したものと同様である。

【0071】

添削結果表示ボタン５０９が押下されると、マーキングＵＩ処理部１０２は、情報管理部１０１から、互いに関連付けられている、顔画像２０と、マーキング情報のマーキング２２と、添削情報のＲＯＩ２３及び添削理由とを取得し、顔画像２０に対して、マーキング２２とＲＯＩ２３と添削理由とを重畳表示する。作業者は、ＲＯＩ２３において、修正マーキング２４を入力する。

【0072】

例えば、作業者は、添削理由「完全に欠落」又は「部分的に欠落」と指摘されたＲＯＩ２３Ｃ、２３Ｄ内に、修正マーキング２４Ａを追加する。この場合、追加された修正マーキング２４Ａが、作業領域４０１に表示される。追加された修正マーキング２４Ａは、元のマーキング２２とは異なる態様で表示される。

【0073】

例えば、作業者は、添削理由「完全に過剰」又は「部分的に過剰」と指摘されたＲＯＩ６２０Ａ内の少なくとも一部のマーキングを削除する。この場合、削除されたことを示す修正マーキング２４Ｂが、作業領域４０１に表示される。削除されたことを示す修正マーキング２４Ｂは、元のマーキング２２とは異なる態様で表示される。

【0074】

修正ボタン５１０が押下されると、マーキングＵＩ処理部１０２は、修正マーキング２４を、マーキング情報生成部１０３に出力する。マーキング情報生成部１０３は、その出力された修正マーキング２４に基づいて修正情報を生成し、当該修正情報を、顔画像２０と関連付けて情報管理部１０１に格納する。

【0075】

これにより、作業者は、専門家から指摘されたＲＯＩ２３内を修正すればよいので、効率的にマーキングを修正できる。

【0076】

＜マーキングの承認＞
図９を参照して、マーキングの承認例を説明する。なお、図９に示す添削ＵＩ６００は、図７に示したものと同様である。

【0077】

差分表示ボタン６０４が押下されると、添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報と添削情報と修正情報とを取得する。そして、添削ＵＩ処理部１０４は、顔画像２０に対して、マーキング情報が示すマーキング２２と、添削情報が示すＲＯＩ２３及び添削理由と、修正情報が示す修正マーキング２４とを重畳表示する。

【0078】

承認ボタン６０５が押下されると、添削ＵＩ処理部１０４は、添削領域６０１に表示されている、マーキング２２、ＲＯＩ２３、及び修正マーキング２４を、正解情報生成部１０６に出力する。正解情報生成部１０６は、その出力されたマーキング２２及び修正マーキング２４に基づいて、正解マーキング２５（つまり正解情報）を生成し、情報管理部１０１に格納する。

【0079】

これにより、専門家は、ＲＯＩ２３を設定した範囲に対して作業者が行った修正を確認すればよいので、作業者の修正を効率的に確認できる。

【0080】

＜作業者のマーキングに対するフィードバック＞
図１０を参照して、作業者が入力したマーキング２２と正解マーキング２５との差分を、作業者にフィードバックする例を説明する。

【0081】

図１０に示すように、正解マーキング２５の生成完了後、マーキングＵＩ処理部１０２は、作業者が入力したマーキング２２と正解マーキング２５とを重畳表示してよい。この場合、マーキングＵＩ処理部１０２は、作業者が入力するマーキング２２が、正解マーキング２５に対して大きい傾向にあるのか、それとも、小さい傾向にあるのかを、スコアとして作業者にフィードバックしてもよい。これにより、作業者は、自分のマーキング２２のクセを認識でき、次回からより正確にシミ２１をマーキングできる。

【0082】

＜別の顔画像に対する正解マーキングの転写＞
図１１を参照して、上述した、別の顔画像に対する正解マーキング２５の転写について詳細に説明する。

【0083】

顔画像２０Ａに対して所定の顔認識処理を行うことにより、図１１に示すように、顔画像２０Ａに対して複数の顔特徴点Ｐ（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を特定できる。

【0084】

正解マーキング２５は、図１１（Ａ）に例示するように、顔特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４によって構成されるメッシュ領域Ｒ１に関連付けられてよい。

【0085】

このように、正解マーキング２５をメッシュ領域Ｒ１と関連付けることにより、同一人物の別の顔画像２０Ｂにも、正解マーキング２５を転写できる。例えば、図１１（Ａ）に示すメッシュ領域Ｒ１と、図１１（Ｂ）に示すメッシュ領域Ｒ２とは、同じ顔特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４によって構成される。よって、マーキングＵＩ処理部１０２は、正解マーキング転写ボタン５０７が押下された場合、図１１（Ｂ）に示す別の顔画像２０Ｂのメッシュ領域Ｒ２に対して、図１１（Ａ）に示すメッシュ領域Ｒ１に関連付けられている正解マーキング２５を転写（重畳表示）する。これにより、例えば表情及びサイズ等が異なる別の顔画像２０Ｂに対しても、概ね正しいシミの位置に正解マーキング２５を転写できる。

【0086】

＜変形例＞
図２に示した情報生成装置１００の構成は一例である。例えば、マーキングＵＩ処理部１０２及びマーキング情報生成部１０３は、作業者が操作する装置（例えばＰＣ）に構成されてよい。添削ＵＩ処理部１０４、添削情報生成部１０５及び正解情報生成部１０６は、専門家が操作する装置（例えばＰＣ）に構成されてよい。情報管理部１０１は、専門家及び作業者が操作するＰＣと、通信ネットワークを介して接続されたサーバ装置に構成されてよい。或いは、情報生成装置１００は、インターネットに接続されたサーバ装置であり、マーキングＵＩ処理部１０２は、作業者が利用するブラウザに対してマーキングＵＩ５００を提供し、添削ＵＩ処理部１０４は、専門家が利用するブラウザに対して添削ＵＩ６００を提供してよい。

【0087】

マーキング情報生成部１０３は、複数の作業者から入力されたマーキングを統合する場合に、各作業者のマーキングのクセを補正してもよい。作業者のマーキングのクセは、当該作業者が入力したマーキングと正解マーキングとの差分に基づいて特定されてよい。なお、各実施形態において、専門家による添削の効率化を図るものとして説明したが、これに限定されるものではなく、顧客の要望（例えば、皺をここまで減らしたいという目標）に応えるために、専門家の目標に対するイメージと、顧客の目標に対するイメージを合わせるために用いても良い。ここでイメージを合わせるとは、具体的には、専門家（例えば、施術を担当する医師）が入力したマーキングに対し、顧客（例えば、患者）が添削することで、目標とするイメージを一致させることをいう。例えば、顧客がこの部分の皺をなくしたい、あるいは皺をこの程度減らしたいという希望を添削によって示すことができる。

【0088】

＜本実施の形態のまとめ＞
本実施の形態に係る情報生成装置１００は、人物の肌を撮影した画像と、画像における肌の特徴的な部分に対する第１のユーザ（例えば作業者）によるマーキングを示すマーキング情報と、マーキング情報に対する第２のユーザ（例えば専門家）による添削を示す添削情報と、を関連付けて管理する情報管理部１０１と、画像に対して、マーキング情報が示すマーキングと添削情報が示す添削とを重畳表示するマーキングＵＩ処理部１０２と、を備える。肌の特徴的な部分は、肌のシミ、毛穴及び皺のうちの何れかであってよい。また、肌の特徴的な部分ではなく、過去と現在の２枚の顔写真の差分の検出であってもよい（例えば、頬のたるみの変化、等）。また、物体の認識であってもよい（例えば、物体の腐食部分の検出、等）。

【0089】

この構成により、顔画像と、第１のユーザが行ったマーキングと、第２のユーザが行ったマーキングに対する添削とが重畳表示されるので、第１のユーザは、自分が入力したマーキングに対する第２のユーザによる添削を容易に認識できる。

【0090】

マーキングＵＩ処理部１０２は、複数の第１のユーザから、画像に対するマーキングの入力を受け付けてよい。情報生成装置１００は、複数の第１のユーザから入力された複数のマーキングを統合して、マーキング情報を生成するマーキング情報生成部１０３を更に備えてよい。この構成により、複数の第１のユーザから入力されたマーキングが統合されるので、１人の第１のユーザがマーキングを入力する場合と比較して、マーキング情報が肌の特徴的な部分を示す精度が向上する。

【0091】

情報管理部１０１は、添削に基づく第１のユーザによるマーキングの修正を示す修正マーキング情報を管理してよい。情報生成装置１００は、第２のユーザが承認した場合、マーキング情報及び修正マーキング情報に基づいて、画像における肌の特徴的な部分に対するマーキング（例えば正解マーキング）を示す正解情報を生成する正解情報生成部１０６を更に備えてよい。この構成により、添削に基づいて修正されたマーキングを用いて正解情報が生成されるので、肌の特徴的な部分を正確にマーキングした正解情報を生成できる。

【0092】

マーキングＵＩ処理部１０２は、マーキング情報が示すマーキングと正解情報が示すマーキング（例えば正解マーキング）との差異を表示してよい。この構成により、第１のユーザが入力したマーキングと、正解情報が示すマーキングとの一致点及び相違点が明らかになるので、第１のユーザは、自分がマーキングするときのクセを認識でき、次回からより正確に肌の特徴的な部分をマーキングできる。

【0093】

情報生成装置１００は、画像に対して、マーキング情報が示すマーキングを重畳表示し、第２のユーザから、マーキングに対する添削を受け付ける添削ＵＩ処理部１０４と、入力された添削に基づいて添削情報を生成する添削情報生成部１０５と、を更に備えてよい。この構成により、第１のユーザが入力したマーキングが顔画像に重畳表示されるので、第２のユーザは、第１のユーザによるマーキングを容易に添削できる。

【0094】

添削情報は、添削範囲（例えばＲＯＩ）及び添削理由を示す情報を含み、マーキングＵＩ処理部１０２は、添削理由毎に異なる態様にて添削範囲を表示してよい。この構成により、添削理由が異なると添削範囲の表示態様が異なるので、第１のユーザは、添削範囲の表示態様の違いから、当該添削範囲における添削理由を容易に認識できる。

【0095】

マーキングＵＩ処理部１０２は、人物が同じであって第１の顔画像とは別の第２の顔画像を、第１の顔画像に含まれる顔に適合する形状に変形して表示してよい。この構成により、第２の顔画像が、第１の顔画像と適合する態様で表示されるので、第１のユーザは、第１の顔画像における肌の特徴的な部分を、第２の顔画像と容易に比較できる。

【0096】

マーキングＵＩ処理部１０２は、人物が同じであって第１の顔画像とは別の第２の顔画像の正解情報が示すマーキング（例えば正解マーキング）を、第１の顔画像に重畳表示してよい。この構成により、第１の顔画像に、正解マーキングが重畳表示されるので、第１のユーザは、第１の画像に対するマーキングを、正解マーキングを参考にして効率的に行える。

【0097】

以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した撮影装置２００、情報生成装置１００、アルゴリズム検証装置３００の機能は、コンピュータプログラムにより実現され得る。

【0098】

図１２は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ２１００は、キーボード、マウス、タッチペン及び／又はタッチパッドなどの入力装置２１０１、ディスプレイ又はスピーカーなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＧＰＵ（Graphics Processing Unit）２１０４、ＲＯＭ（Read Only Memory）２１０５、ＲＡＭ（Random Access Memory）２１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０８、ネットワークを介して通信を行う送受信装置２１０９を備え、各部はバス２１１０により接続される。

【0099】

そして、読取装置２１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０７に記憶させる。あるいは、送受信装置２１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０７に記憶させる。

【0100】

そして、ＣＰＵ２１０３が、記憶装置２１０７に記憶されたプログラムをＲＡＭ２１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

【0101】

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0102】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0103】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【産業上の利用可能性】

【0104】

本開示の一態様は、検出アルゴリズムを検証するための情報の生成に有用である。

【符号の説明】

【0105】

１０ アルゴリズム検証システム
１００ 情報生成装置
１０１ 情報管理部
１０２ マーキングＵＩ処理部
１０３ マーキング情報生成部
１０４ 添削ＵＩ処理部
１０５ 添削情報生成部
１０６ 正解情報生成部
２００ 撮影装置
２０１ 撮影部
３００ アルゴリズム検証装置
３０１ アルゴリズム実行部
３０２ 検出精度算出部
５００ マーキングＵＩ
５０１ 作業領域
５０２ 輪郭モードボタン
５０３ マーキングモードボタン
５０４ 色変更ボタン
５０５ マスクボタン
５０６ 参考画像表示ボタン
５０７ 正解マーキング転写ボタン
５０８ 登録ボタン
５０９ 添削結果表示ボタン
５１０ 修正ボタン
６００ 添削ＵＩ
６０１ 添削領域
６０２、６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ 添削理由ボタン
６０３ 差し戻しボタン
６０４ 差分表示ボタン
６０５ 承認ボタン

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】