特許 7506109 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240618BHJP

   G06V 20/50 20220101ALI20240618BHJP

   G06V 10/82 20220101ALI20240618BHJP

【ＦＩ】

G06T7/00 660B

G06V20/50

G06T7/00 350C

G06V10/82

【請求項の数】 14

(21)【出願番号】P 2022064668

(22)【出願日】2022-04-08

(65)【公開番号】P2023154981

(43)【公開日】2023-10-20

【審査請求日】2023-02-16

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】中澤 満

(72)【発明者】

【氏名】陳 科翰

【審査官】稲垣 良一

(56)【参考文献】

【文献】特開２００８－０２７４２４（ＪＰ，Ａ）

【文献】特開２０２３－１５４９８０（ＪＰ，Ａ）

【文献】特開２００９－１６９５１８（ＪＰ，Ａ）

【文献】特開２００９－２５２２４３（ＪＰ，Ａ）

【文献】特開２００８－０３３６５６（ＪＰ，Ａ）

【文献】特開２００８－０３３６５５（ＪＰ，Ａ）

【文献】特開２００８－０３３６５４（ＪＰ，Ａ）

【文献】特開２００２－１８９９２５（ＪＰ，Ａ）

【文献】特開２００２－１７５５２７（ＪＰ，Ａ）

【文献】国際公開第２０１８／１０９０４８（ＷＯ，Ａ１）

【文献】報道発表 不適切コンテンツの自動フィルタリングシステムのトライアルを開始 －ＤｅｅｐＬｅａｒｎｉｎｇ技術を活用して人間の感性に近い判定が可能に－［オンライン］，日本，ＮＴＴコムウェア株式会社，2015年02月09日，https://www.nttcom.co.jp/news/pr15020901.html

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５０

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

実行装置、および記憶装置を備え、
前記記憶装置には、前景識別写像データと、背景識別写像データと、が記憶され、
前記前景識別写像データは、前景識別写像を規定するためのデータであり、
前記前景識別写像は、前景識別変数の値を出力する写像であり、
前記前景識別変数は、評価対象の画像データが示す画像において人の状態を識別する変数であり、
前記背景識別写像データは、背景識別写像を規定するためのデータであり、
前記背景識別写像は、背景識別変数の値を出力する写像であり、
前記背景識別変数は、前記画像データが示す前記人の背景の種類を識別する変数であり、
前記実行装置は、前景識別処理、背景識別処理、および評価処理を実行するように構成され、
前記前景識別処理は、前記画像データを前記前景識別写像に入力することによって前記前景識別変数の値を出力する処理であり、
前記背景識別処理は、前記画像データを前記背景識別写像に入力することによって前記背景識別変数の値を識別する処理であり、
前記評価処理は、前記画像データに異常があるか否かを評価する処理であって且つ、前記前景識別変数の値が第１の値である場合には、前記背景識別変数の値にかかわらず異常があると評価して且つ、前記前景識別変数の値が前記第１の値とは別の第２の値である場合には、前記背景識別変数の値を加味して前記異常か否かを評価する処理を含む画像評価装置。

【請求項2】

前記第１の値は、身体の所定部位が露出している状態において前記前景識別変数の値が取り得る値であり、
前記第２の値は、前記所定部位の少なくとも一部が衣類で覆われているものの、前記身体の露出度合いが大きい状態において前記前景識別変数の値が取り得る値である請求項１記載の画像評価装置。

【請求項3】

前記評価処理は、
前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が、水遊び、またはスポーツをする所定の場所において取り得る値であることとの論理積が真である場合、前記異常ではないと評価する処理と、
前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が前記所定の場所とは異なる所定の室内であるときに取り得る値であることとの論理積が真である場合、前記異常であると評価する処理と、を含む請求項２記載の画像評価装置。

【請求項4】

前記前景識別変数は、衣類の種類を特定する値を含み、
前記第２の値は、前記所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値である請求項３記載の画像評価装置。

【請求項5】

前記前景識別写像は、露出度識別写像と、衣類識別写像と、を含み、
前記露出度識別写像は、前記人の所定部位の露出度を示す変数である露出度変数の値を出力する写像であり、
前記衣類識別写像は、前記人が身に着けている衣類の種類を識別する変数である衣類変数の値を出力する写像であり、
前記前景識別変数は、前記露出度変数および前記衣類変数に基づく請求項１記載の画像評価装置。

【請求項6】

前記前景識別写像は、身体識別写像と、着衣識別写像と、を含み、
前記身体識別写像は、前記人の身体の部位を識別する変数である身体識別変数の値を出力する写像であり、
前記着衣識別写像は、前記人の身体であるか、前記人が身に着けている衣類であるかを識別する変数である着衣識別変数の値を出力する写像であり、
前記前景識別処理は、前記身体識別変数の値および前記着衣識別変数の値に応じて前記前景識別変数の値を算出する処理を含む請求項１記載の画像評価装置。

【請求項7】

請求項１に記載の画像評価装置における前記実行装置、および前記記憶装置と、複数のユーザ端末と、を備え、
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システム。

【請求項8】

前記ユーザ端末は、指示処理を実行するように構成され、
前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、
前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、
前記提供処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する処理である請求項７記載の画像処理システム。

【請求項9】

前記制限処理は、
前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、
前記画像データを制限指令とともに送信する制限送信処理と、
の少なくとも１つの処理を含み、
前記制限指令は、前記ユーザ端末において前記画像データが示す画像が警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである請求項７記載の画像処理システム。

【請求項10】

請求項１記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法。

【請求項11】

請求項１記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラム。

【請求項12】

ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、請求項１に記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。

【請求項13】

ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、
前記ユーザ端末は、指示処理を実行するように構成され、
請求項１に記載の画像評価装置における前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、
前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記画像評価装置における前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。

【請求項14】

ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、
前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、
前記取得工程において取得された前記画像データのうち請求項１に記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記取得工程において取得された前記画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法に関する。

【背景技術】

【0002】

たとえば下記特許文献１には、学習済みモデルを利用して画像データの異常を検出する装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－２６０１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

発明者は、画像データが示す画像中の人の状態に関して異常の有無を判定することを検討した。その場合、たとえば、身体の所定部位が露出している画像データを異常とすることが考えられる。しかし、所定部位が部分的に露出しているのみの場合に、一律、異常と判定することは望ましくない。すなわち、たとえば海水浴場で水着を着ている場合には、これを異常とすることは必ずしも適切とは限らない。

【課題を解決するための手段】

【0005】

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置、および記憶装置を備え、前記記憶装置には、前景識別写像データと、背景識別写像データと、が記憶され、前記前景識別写像データは、前景識別写像を規定するためのデータであり、前記前景識別写像は、前景識別変数の値を出力する写像であり、前記前景識別変数は、評価対象の画像データが示す画像において人の状態を識別する変数であり、前記背景識別写像データは、背景識別写像を規定するためのデータであり、前記背景識別写像は、背景識別変数の値を出力する写像であり、前記背景識別変数は、前記画像データが示す前記人の背景の種類を識別する変数であり、前記実行装置は、前景識別処理、背景識別処理、および評価処理を実行するように構成され、前記前景識別処理は、前記画像データを前記前景識別写像に入力することによって前記前景識別変数の値を出力する処理であり、前記背景識別処理は、前記画像データを前記背景識別写像に入力することによって前記背景識別変数の値を識別する処理であり、前記評価処理は、前記画像データに異常があるか否かを評価する処理であって且つ、前記前景識別変数の値が第１の値である場合には、前記背景識別変数の値にかかわらず異常があると評価して且つ、前記前景識別変数の値が前記第１の値とは別の第２の値である場合には、前記背景識別変数の値を加味して前記異常か否かを評価する処理を含む画像評価装置である。

【0006】

上記構成では、前景識別変数の値が第１の値である場合、背景識別変数の値にかかわらず、異常があると判定する。そのため、人の状態に明らかに異常がある場合に、これを異常である旨評価する確実性を高めることができる。また、前景識別変数の値が第２の値である場合、背景識別変数の値を加味して異常か否かを評価する。そのため、人の状態が状況に応じて異常と評価すべきであったりすべきでなかったりする場合において、適切な評価をすることが可能となる。

【0007】

２．前記第１の値は、身体の所定部位が露出している状態において前記前景識別変数の値が取り得る値であり、前記第２の値は、前記所定部位の少なくとも一部が衣類で覆われているものの、前記身体の露出度合いが大きい状態において前記前景識別変数の値が取り得る値である上記１記載の画像評価装置である。

【0008】

所定部位の露出を異常と定義する場合、所定部位の一部が露出していても残りが衣類で覆われている場合の評価を、いかにするかが問題となる。そこで、上記構成では、そうした場合に背景識別変数の値を加味して異常の有無を判定する。これにより、身体の露出度が大きい場合に一律異常である旨評価するのではなく、状況に応じたより適切な評価をすることができる。

【0009】

３．前記評価処理は、前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が、水遊び、またはスポーツをする所定の場所において取り得る値であることとの論理積が真である場合、前記異常ではないと評価する処理と、前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が前記所定の場所とは異なる所定の室内であるときに取り得る値であることとの論理積が真である場合、前記異常であると評価する処理と、を含む上記２記載の画像評価装置である。

【0010】

身体の露出度合いが大きい場合であっても、背景が水遊び、またはスポーツをする所定の場所である場合には、必ずしも公序良俗に反するものではなく、異常と評価することが適切とは限らない。そこで上記構成では、そうした状況において、異常ではない旨評価することにより、適切な評価をすることができる。

【0011】

４．前記前景識別変数は、衣類の種類を特定する値を含み、前記第２の値は、前記所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値である上記３記載の画像評価装置である。

【0012】

上記構成では、第２の値を、所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値とする。そのため、たとえば露出度合いが大きい水着を着ている場合において、海水浴場等にいる場合にまで異常であると評価することを抑制できる。

【0013】

５．前記前景識別写像は、露出度識別写像と、衣類識別写像と、を含み、前記露出度識別写像は、前記人の所定部位の露出度を示す変数である露出度変数の値を出力する写像であり、前記衣類識別写像は、前記人が身に着けている衣類の種類を識別する変数である衣類変数の値を出力する写像であり、前記前景識別変数は、前記露出度変数および前記衣類変数に基づく上記１～４のいずれか１つに記載の画像評価装置である。

【0014】

上記構成では、露出度識別写像と、衣類識別写像とを用いることから、人の身体部位の露出度と、衣類の種類とを高精度に特定できる。そのため、前景識別変数を、人の状態の詳細を示す変数とすることができる。

【0015】

６．前記前景識別写像は、身体識別写像と、着衣識別写像と、を含み、前記身体識別写像は、前記人の身体の部位を識別する変数である身体識別変数の値を出力する写像であり、前記着衣識別写像は、前記人の身体であるか、前記人が身に着けている衣類であるかを識別する変数である着衣識別変数の値を出力する写像であり、前記前景識別処理は、前記身体識別変数の値および前記着衣識別変数の値に応じて前記前景識別変数の値を算出する処理を含む上記１～５のいずれか１つに記載の画像評価装置である。

【0016】

上記構成では、身体識別変数によって特定される身体の部位について、着衣識別変数によって露出しているか衣類を身に着けているかを把握できる。そのため、前景識別変数を、身体の部位の露出の有無を示す適切な変数とすることができる。

【0017】

７．上記１～６のいずれか１つに記載の画像評価装置における前記実行装置、および前記記憶装置と、複数のユーザ端末と、を備え、前記実行装置は、提供処理、および制限処理を実行するように構成され、前記提供処理は、前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システムである。

【0018】

上記提供処理および制限処理によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
８．前記ユーザ端末は、指示処理を実行するように構成され、前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、前記提供処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する処理である上記７記載の画像処理システムである。

【0019】

上記構成では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
９．前記制限処理は、前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも１つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像が警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記７記載の画像処理システムである。

【0020】

上記禁止処理によれば、ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が、ユーザ端末に表示されることを確実に抑制できる。また、上記制限送信処理によれば、以下のいずれかが可能となる。

【0021】

・ユーザ端末により表示されることを制限すべき旨の警告がユーザ端末によってなされること。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。

【0022】

・ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が表示されることを、ユーザ端末において禁止すること。
１０．上記８記載の画像処理システムにおける前記ユーザ端末である。

【0023】

１１．上記１～６のいずれか１つに記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法である。
１２．上記１記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。

【0024】

１３．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。

【0025】

上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
１４．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記画像評価装置における前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。

【0026】

上記方法では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
１５．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。

【0027】

上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。

【図面の簡単な説明】

【0028】

【図1】第１の実施形態にかかる画像処理システムの全体構成を示す図である。

【図2】同実施形態にかかる表示可能な画像を規定する図である。

【図3】同実施形態にかかるＣＭ動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。

【図4】同実施形態にかかるフレーム評価処理の手順を示す流れ図である。

【図5】第２の実施形態にかかるＣＭ動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。

【図6】第３の実施形態にかかるフレーム評価処理の手順を示す流れ図である。

【図7】同実施形態にかかるフレーム評価処理の手順を示す流れ図である。

【図8】第４の実施形態にかかるフレーム評価処理の手順を示す流れ図である。

【図9】第５の実施形態にかかる評価処理の手順を示す流れ図である。

【図10】同実施形態にかかるフレーム評価処理の手順を示す流れ図である。

【図11】同実施形態にかかるＣＭ動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。

【発明を実施するための形態】

【0029】

＜第１の実施形態＞
以下、第１の実施形態について図面を参照しつつ説明する。
「前提構成」
図１に、画像処理システムの全体構成を示す。

【0030】

複数の業者端末１０（１），１０（２），…は、何らかの商品を消費者に販売する業者が所持する端末である。なお、以下では、業者端末１０（１），１０（２），…を総括する場合、業者端末１０と記載する。業者端末１０は、ＰＵ１２、記憶装置１４、および通信機１６を備えている。ＰＵ１２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。記憶装置１４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置１４には、ＰＵ１２が実行するプログラムが記憶されている。

【0031】

業者端末１０の通信機１６は、ネットワーク２０を介して画像評価装置３０と通信可能とされる。業者端末１０は、販売したい商品に関するＣＭ動画データを画像評価装置３０に送信する。ここで、ＣＭ動画データとは、たとえば商品を広告するためのコマーシャル動画に相当する。ＣＭ動画の再生時間、フレーム数、解像度、およびデータフォーマットに制限はない。

【0032】

画像評価装置３０は、ＣＭ動画データを評価して、問題がない場合にはユーザ端末５０（１），５０（２），…に送信する。以下では、ユーザ端末５０（１），５０（２），…を総括する場合、ユーザ端末５０と記載する。

【0033】

画像評価装置３０は、ＰＵ３２、記憶装置３４、および通信機３６を備えている。ＰＵ３２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。詳しくは、ＰＵ３２は、画像処理、推論処理および並列処理等の所定の処理に特化したハードウェアアクセラレータを演算ユニットとして含んでよい。また、ＰＵ３２は、ホモジニアスアーキテクチャまたはヘテロジニアスアーキテクチャの態様をとる演算ユニットを含んでよい。また、ＰＵ３２は、単一のチップ上にモノリシックに集積された演算ユニットを含んでよく、チップレット等の複数のチップが接続された演算ユニットを含んでよい。記憶装置３４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置３４には、画像評価プログラム３４ａ、前景識別写像データ３４ｂ、背景識別写像データ３４ｃ、およびルールベースデータ３４ｄが記憶されている。通信機３６は、ネットワーク２０を介して業者端末１０およびユーザ端末５０との通信を可能とするための機器である。

【0034】

ユーザ端末５０は、ＣＭ動画データを再生する端末である。ユーザ端末５０は、ＣＭ動画が示す商品の購入操作を実行する機能を有してもよい。
ユーザ端末５０は、ＰＵ５２、記憶装置５４、通信機５６、およびユーザインターフェース５８を備えている。ＰＵ５２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。ＰＵ５２は、ＰＵ３２に含まれる態様の演算ユニットを含んでよい。記憶装置５４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置５４には、アプリケーションプログラム５４ａが記憶されている。アプリケーションプログラム５４ａは、画像評価装置３０から送信されるＣＭ動画データを再生するプログラムである。通信機５６は、ネットワーク２０を介して画像評価装置３０との通信を可能とするための機器である。ユーザインターフェース５８は、表示装置等を備える。

【0035】

「画像評価処理」
画像評価装置３０のＰＵ３２は、業者端末１０から送信されたＣＭ動画データがユーザ端末５０によって再生して問題ないデータであるか否かを評価する。

【0036】

図２は、再生して問題ないデータの定義の一例を示す。図２には、身体の部分のうち、所定部位に、マーキングがなされている。すなわち、部分「３」～「５」によって定義される胸部にマーキングがなされている。また、人体の正面視において、部分「１０」、「１１」、「１８」によって定義される「正面下腹部」にマーキングがなされている。また、人体の背面における部分「１２～１４」，「１８」によって定義される「尻部」にマーキングがなされている。ＰＵ３２は、人の画像のうち図２にマーキングした箇所が顕著に露出した画像については、再生して問題がある画像であると評価する。

【0037】

図３に、画像評価装置３０によって実行される、図２に示した基準に沿った評価に基づいてＣＭ動画データがユーザ端末５０によって選択的に表示されることを支援する処理の手順を示す。図３に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を表現する。

【0038】

図３に示す一連の処理において、ＰＵ３２は、まず、業者端末１０から送信されたＣＭ動画データを取得する（Ｓ１０）。なお、ここで、「取得」は、記憶装置３４に記憶されたＣＭ動画データのうちの１つを選択的に読み出すことを意味する。この処理の前に、ＰＵ３２は、通信機３６を介して業者端末１０から送信されたＣＭ動画データを受信する。そして、ＰＵ３２は、受信したＣＭ動画データを記憶装置３４に記憶する。

【0039】

次にＰＵ３２は、ＣＭ動画データのフレームを指定する変数ｉを初期化する（Ｓ１２）。この処理は、変数ｉを、ＣＭ動画データの先頭のフレームを指定する値とするための処理である。次に、ＰＵ３２は、フレームデータＦＤを、Ｎ個周期で３個サンプリングする（Ｓ１４）。すなわち、ＰＵ３２は、フレームデータＦＤ（ｉ）、ＦＤ（ｉ＋Ｎ）、ＦＤ（ｉ＋２Ｎ）をサンプリングする。なお、フレームデータＦＤ（１），ＦＤ（２），ＦＤ（３），…は、ＣＭ動画データの再生順序に従ったフレームデータＦＤの時系列を示す。詳しくは、フレームデータＦＤの後のカッコ内の数字が大きいほど、時系列的に後に再生されるフレームデータＦＤであることを示す。ちなみに、フレームデータＦＤは、レッド、グリーン、ブルーの３原色のそれぞれの輝度を示す「ｗ×ｈ」の画素数を有した２次元データである。ここで、「ｗ」および「ｈ」は自然数である。なお、以下では、上記３原色を適宜、「Ｒ，Ｇ，Ｂ」と表現する。

【0040】

そして、ＰＵ３２は、フレームデータＦＤ（ｉ）、ＦＤ（ｉ＋Ｎ）、ＦＤ（ｉ＋２Ｎ）のそれぞれを評価するフレーム評価処理を実行する（Ｓ１６）。
図４に、フレーム評価処理の詳細を示す。

【0041】

図４に示す一連の処理において、ＰＵ３２は、１つのフレームデータＦＤを、露出度識別モデルＭ１０に入力する（Ｓ３０）。露出度識別モデルＭ１０は、フレームデータＦＤが示す人の露出度を示す変数である露出度変数ｙｅ１，ｙｅ２，…の値を出力する。ここで、露出度変数ｙｅ１は、顔と手以外が衣類に覆われているなど身体の露出が特に問題ない状態であることを示す。露出度変数ｙｅ２は、胸部、正面下腹部、および尻部の少なくとも１つが露出している状態を示す。露出度変数ｙｅ３は、胸部が部分的に露出している状態を示す。詳しくは、胸部のうちの部分「４」および部分「５」については衣類で覆われているものの、部分「３」が露出している状態を示す。露出度識別モデルＭ１０が出力する露出度変数は、５個以上であってよい。それらには、たとえば、正面下腹部のうちの部分「１１」および部分「１８」が衣類で覆われているものの、部分「１０」が露出している状態等を示す値がある。なお、露出度変数ｙｅ１，ｙｅ２，…の値は、対応する露出度である確率を示す。たとえば、露出度変数ｙｅ１の値は、身体の露出が特に問題ない状態である確率を示す。なお、「露出している状態」とは、透明度の高い衣類で覆われている状態等の身体の表面が肉眼で視認しうる状態をさしてもよい。

【0042】

露出度識別モデルＭ１０は、例として、教師あり学習によって学習された学習済みモデルである。露出度識別モデルＭ１０は、たとえば、上記露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。露出度識別モデルＭ１０は、たとえばニューラルネットワーク（以下、ＮＮと記載）を利用する（含む）モデルであってよい。その場合、露出度識別モデルＭ１０を構成するＮＮの出力活性化関数は、例として、ソフトマックス関数であってよい。露出度識別モデルＭ１０は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。

【0043】

露出度識別モデルＭ１０は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである識別モデルの学習済みのパラメータの値を含むデータである。すなわち、たとえば、露出度識別モデルＭ１０が畳み込みニューラルネットワーク（以下、ＣＮＮと記載）の場合、前景識別写像データ３４ｂは、畳み込み処理に用いる各フィルタの値を含む。また、ＣＮＮが全結合レイヤ等を含む場合、前景識別写像データ３４ｂは、全結合レイヤの重みを示すパラメータの値を含む。

【0044】

またたとえば、露出度識別モデルＭ１０が、Ｔｒａｎｓｆｏｒｍｅｒベースのモデル（トランスフォーマエンコーダを備えるモデル）を利用（含む）してよい。この場合、前景識別写像データ３４ｂは、次のデータを含んでもよい。たとえば、前景識別写像データ３４ｂは、フレームデータＦＤを分割した各パッチを１次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、前景識別写像データ３４ｂは、上記１次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、前景識別写像データ３４ｂは、１次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。

【0045】

なお、露出度識別モデルＭ１０がＮＮの場合、前景識別写像データ３４ｂは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム３４ａに含めてもよい。

【0046】

ＰＵ３２は、Ｓ３０の処理を完了する場合、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…のうちの値が最大となるものを、露出度変数Ｖｅｐに代入する（Ｓ３２）。ここで、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…の値は、ソフトマックス関数の出力値等であることから、最大値となるものを特定できる。Ｓ３２の処理は、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…のうちの値が最大となるもののラベル変数自体を露出度変数Ｖｅｐに代入する処理である。すなわち、たとえば露出度変数ｙｅ１の値が最大値の場合、露出度変数Ｖｅｐに、ラベル変数としての露出度変数ｙｅ１を代入する。

【0047】

次にＰＵ３２は、フレームデータＦＤを、背景識別モデルＭ１２に入力することによって、背景識別変数ｙｂ１，ｙｂ２，…の値を算出する（Ｓ３４）。背景識別変数ｙｂ１，ｙｂ２，…は、フレームデータＦＤが示す画像のうちの人以外の部分である背景の状態を識別するための変数である。なお、背景識別変数ｙｂ１，ｙｂ２，…の値は、背景の状態が該当する状態である確率を示す。

【0048】

背景識別モデルＭ１２は、例として、教師あり学習によって学習された学習済みモデルである。背景識別モデルＭ１２は、たとえば、上記背景識別変数ｙｂ１，ｙｂ２，ｙｂ３，…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。背景識別モデルＭ１２は、たとえばＮＮであってよい。その場合、背景識別モデルＭ１２を構成するＮＮの出力活性化関数は、例として、ソフトマックス関数であってよい。背景識別モデルＭ１２は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。

【0049】

背景識別モデルＭ１２は、図１に示した記憶装置３４に記憶された背景識別写像データ３４ｃによって規定される。背景識別写像データ３４ｃは、パラメトリックモデルである識別モデルの学習済みのパラメータの値を含むデータである。なお、背景識別モデルＭ１２がＮＮの場合、背景識別写像データ３４ｃは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム３４ａに含めてもよい。なお、背景識別モデルＭ１２がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。また、背景識別写像データ３４ｃは、前景識別写像データ３４ｂの説明において示したように、モデルに応じて適宜構成される。ちなみに、背景識別モデルＭ１２を構成するアーキテクチャと露出度識別モデルＭ１０を構成するアーキテクチャとが同一であることは必須ではない。

【0050】

ＰＵ３２は、Ｓ３４の処理を完了する場合、背景識別変数ｙｂ１，ｙｂ２，ｙｂ３，…のうちの値が最大となるものを、背景識別変数Ｖｂｇに代入する（Ｓ３６）。Ｓ３６の処理は、背景識別変数ｙｂ１，ｙｂ２，ｙｂ３，…のうちの値が最大となるもののラベル変数自体を背景識別変数Ｖｂｇに代入する処理である。

【0051】

そして、ＰＵ３２は、露出度変数Ｖｅｐと背景識別変数Ｖｂｇとに基づき、フレームデータＦＤが胸部、正面下腹部、および尻部の異常な露出がない画像を示すか否かを評価する（Ｓ３８）。ＰＵ３２は、記憶装置３４に記憶されたルールベースデータ３４ｄの規定に従って、異常の有無を評価する。図４には、ルールベースデータ３４ｄの規定の一部を例示している。

【0052】

図４に「ＯＫ」と記載しているのは、胸部、正面下腹部、および尻部の異常な露出がない旨評価がなされることを意味する。この評価を、ＯＫ判定と称する。図４に「ＮＧ」と記載しているのは、胸部、正面下腹部、および尻部の少なくとも１つに異常な露出がある旨評価がなされることを意味する。以下では、この判定を、ＮＧ判定と称する。

【0053】

上述したように、露出度変数ｙｅ１は、露出部が顔および手のみである場合等、フレームデータＦＤが示す人のそれぞれの着衣状態に問題がないことを示す。そのため、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ１」である場合、背景識別変数Ｖｂｇの値にかかわらず、ＯＫ判定をすべきことを規定している。また、露出度変数ｙｅ２は、胸部、正面下腹部、および尻部の少なくとも１つが顕著に露出している状態を示す。そのため、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ２」である場合、背景識別変数Ｖｂｇの値にかかわらず、ＮＧ判定をすべきことを規定している。

【0054】

これに対し、露出度変数ｙｅ３は、胸部のうちの部分「４」および部分「５」については衣類で覆われているものの、部分「３」が露出している状態を示す。こうした状態は、海水浴場において人がある程度露出度の大きい水着を着ている場合等において生じうる。また、こうした状態は、スポーツジムにおいて、人がある程度露出度の大きいトレーニングウェアを着ている場合等において生じうる。また、こうした状態は、ベッドルームにおいて人がセクシーな下着のみを身にまとっている場合にも生じうる。ここで挙げた例のうち、始めの２つの例と残りの１つの例とは、性格が異なる。そこで、ルールベースデータ３４ｄは、始めの２つの例についてはＯＫ判定をする一方、残りの１つの例についてはＮＧ判定をするように規定する。具体的には、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ１，ｙｂ２」である場合、ＯＫ判定をするように規定する。ここで、背景識別変数ｙｂ１は、背景が、例として、屋外プール、屋内プール、川、湖、浜辺、海水浴場または海等、水遊びまたは水泳をする場所であることを示す。また、背景識別変数ｙｂ２は、背景が、例として、スポーツジム、またはテニスコート等の水泳以外のスポーツをする場所であることを示す。一方、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ３」である場合、ＮＧ判定をするように規定する。ここで、背景識別変数ｙｂ３は、背景が、例として、キッチン、リビングルームまたはベッドルーム等の所定の室内であることを示す。ルールベースデータ３４ｄにおいて、ＯＫ判定またはＮＧ判定の根拠として扱われる、露出度変数および背景識別変数等の各種変数の組み合わせは明示的に予め定められてよい。

【0055】

ＰＵ３２は、Ｓ３８の処理を完了する場合、図３のＳ１６の処理を完了する。
図３に戻り、ＰＵ３２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの２つ以上についてＯＫ判定がなされたか否かを判定する（Ｓ１８）。そして、ＰＵ３２は、ＯＫ判定が１つ以下であると判定する場合（Ｓ１８：ＮＯ）、Ｓ１０の処理によって取得したＣＭ動画データの配信（送信）を禁止する（Ｓ２０）。Ｓ１８の処理において否定判定されることは、ＣＭ動画データに、胸部、正面下腹部、および尻部の少なくとも１つに異常な露出がある旨の最終的な判定がなされたことを意味する。

【0056】

一方、ＰＵ３２は、ＯＫ判定が２つ以上であると判定する場合（Ｓ１８：ＹＥＳ）、変数ｉに「Ｎ」を加算する（Ｓ２２）。そしてＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在するか否かを判定する（Ｓ２４）。この処理は、ＣＭ動画データの全てについてＳ１６の処理を完了したか否かを判定する処理である。ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在すると判定する場合（Ｓ２４：ＹＥＳ）、Ｓ１４の処理に戻る。一方、ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在しないと判定する場合（Ｓ２４：ＮＯ）、ＣＭ動画データを配信可能とする（Ｓ２６）。すなわち、ＰＵ３２は、ユーザ端末５０からのリクエストに応じてＣＭ動画データを配信する。

【0057】

なお、ＰＵ３２は、Ｓ２０，Ｓ２６の処理を完了する場合、図３に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。

【0058】

ＰＵ３２は、フレームデータＦＤを露出度識別モデルＭ１０に入力することによって、露出度変数Ｖｅｐの値を算出する。また、ＰＵ３２は、フレームデータＦＤを背景識別モデルＭ１２に入力することによって、背景識別変数Ｖｂｇの値を算出する。そしてＰＵ３２は、露出度変数Ｖｅｐの値と、背景識別変数Ｖｂｇの値とに基づき、フレームデータＦＤを評価する。

【0059】

ここで、ＰＵ３２は、フレームデータＦＤが示す画像中の人の着衣状態に明らかな異常がある場合と明らかに異常がない場合とには、背景識別変数Ｖｂｇの値にかかわらず、フレームデータＦＤを評価する。一方、ＰＵ３２は、フレームデータＦＤが示す画像中の人の着衣状態がグレーゾーンにある場合、背景識別変数Ｖｂｇの値を参照しつつ、フレームデータＦＤを評価する。したがって、フレームデータＦＤが配信すべきでないデータであるか否かを適切に評価できる。

【0060】

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

【0061】

図５に、本実施形態にかかる画像評価装置３０によって実行される、図２に示した基準に沿った評価に基づいてＣＭ動画データがユーザ端末５０によって選択的に表示されることを支援する処理の手順を示す。図５に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図５において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。

【0062】

図５に示すように、ＰＵ３２は、Ｓ１８の処理において否定判定する場合（Ｓ１８：ＮＯ）、ＣＭ動画データに制限指令を付与する（Ｓ２０ａ）。そして、ＰＵ３２は、Ｓ２６の処理に移行する。

【0063】

制限指令は、次の何れかの指令である。
・ユーザ端末５０においてＣＭ動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース５８が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース５８が備えるスピーカから音声情報を出力する処理としてもよい。

【0064】

・ユーザ端末５０においてＣＭ動画データが再生される場合、所定部位が露出しているシーンが再生される場合に再生画像にマスクをする指令である。マスクをする指令は、たとえば、再生画像に対して所定画像を重畳することでマスクをする指令であってもよい。また、たとえば、マスクをする指令は、再生画像に対してぼかし等のエフェクトを適用することでマスクをする指令であってもよい。またたとえば、マスクをする指令は、露出している所定部位の領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってもよい。またたとえば、露出している所定部位の領域を少なくとも含む再生画像の一部に対してばかし等のエフェクトを適用することでマスクをする指令であってもよい。

【0065】

・ユーザ端末５０に対してなされる、ＣＭ動画データを再生してはいけない旨の指令である。これは、たとえばアプリケーションプログラム５４ａが、同指令を検知する場合にはＣＭ動画データの再生をしない設定と組み合わせることが望ましい。

【0066】

＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

【0067】

本実施形態では、前景識別写像データ３４ｂによって規定される学習済みモデルを変更する。
図６に、フレーム評価処理の詳細を示す。図６に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図６において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。

【0068】

図６に示す一連の処理において、ＰＵ３２は、まず、フレームデータＦＤを人識別モデルＭ１４に入力することによって、フレームデータＦＤの各画素に、人を示す領域か否かに応じたラベル変数の値を付与する（Ｓ４０）。人識別モデルＭ１４は、セマンティックセグメンテーションを実行するモデルである。

【0069】

人識別モデルＭ１４は、例として、教師あり学習によって学習された学習済みモデルである。人識別モデルＭ１４は、たとえば、画素領域のそれぞれに、人を示す場合とそうではない場合とで異なるラベル変数の値が付与されたフレームデータＦＤを訓練データとして学習されたモデルである。人識別モデルＭ１４は、たとえばＮＮであってよい。その場合、人識別モデルＭ１４を構成するＮＮの出力活性化関数は、ソフトマックス関数であってよい。人識別モデルＭ１４は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、人識別モデルＭ１４がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。

【0070】

人識別モデルＭ１４は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである人識別モデルＭ１４の学習済みのパラメータの値を含むデータである。前景識別写像データ３４ｂは、人識別モデルＭ１４に応じて適宜構成される。

【0071】

次にＰＵ３２は、Ｓ４０の処理によって人を示すラベル変数の値が付与された画素のうちの連続する画素の塊ごとに、予め定められた背景画像に埋め込む（Ｓ４２）。ここで、ＰＵ３２は、人を示すラベル変数の値が付与された画素のうちの連続する画素を、１人の人を示す画素と見なす。また、ＰＵ３２は、人を示すラベル変数の値が付与された画素のうちの不連続な画素については、異なる人を示す画素であるとみなす。したがって、ＰＵ３２は、Ｓ４２の処理によって、フレームデータＦＤが示す人の数に応じた埋込画像データＩＭＤを生成する。埋込画像データＩＭＤのそれぞれは、Ｒ，Ｇ，Ｂの３つの画像データを含む。なお、上記背景画像は、たとえば無地の背景画像であってもよい。

【0072】

次にＰＵ３２は、Ｓ４２の処理によって生成された画像データを、露出度識別モデルＭ１０に入力することによって、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…の値を算出する（Ｓ３０ａ）。そして、ＰＵ３２は、Ｓ３２の処理を実行する。

【0073】

続いてＰＵ３２は、フレームデータＦＤを衣類識別モデルＭ１６に入力することによって、衣類変数ｙｃ１，ｙｃ２，…の値を算出する（Ｓ４４）。
衣類識別モデルＭ１６は、例として、教師あり学習によって学習された学習済みモデルである。衣類識別モデルＭ１６は、たとえば、衣類変数ｙｃ１，ｙｃ２，ｙｃ３，…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。衣類識別モデルＭ１６は、たとえばＮＮであってよい。その場合、衣類識別モデルＭ１６を構成するＮＮの出力活性化関数は、例として、ソフトマックス関数であってよい。衣類識別モデルＭ１６は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、衣類識別モデルＭ１６がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。

【0074】

衣類識別モデルＭ１６は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである衣類識別モデルＭ１６の学習済みのパラメータの値を含むデータである。また、前景識別写像データ３４ｂは、衣類識別モデルＭ１６に応じて適宜構成される。

【0075】

次にＰＵ３２は、衣類変数ｙｃ１，ｙｃ２，…のうちの値が最大となるものを、衣類変数Ｖｃｌに代入する（Ｓ４６）。Ｓ４６の処理は、衣類変数ｙｃ１，ｙｃ２，…のうちの値が最大となるもののラベル変数自体を、衣類変数Ｖｃｌに代入する処理である。

【0076】

次にＰＵ３２は、図７に示すように、Ｓ３４，Ｓ３６の処理を実行する。そしてＰＵ３２は、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値および背景識別変数Ｖｂｇの値に応じて、フレームデータＦＤを評価する（Ｓ３８ａ）。図７には、ルールベースデータ３４ｄによって規定されるルールを例示している。

【0077】

ここで、衣類変数ｙｃ１は、公序良俗に反するラベルが付与された衣類を示す変数である。ルールベースデータ３４ｄは、衣類変数Ｖｃｌの値が「ｙｃ１」である場合、露出度変数Ｖｅｐの値と背景識別変数Ｖｂｇの値とにかかわらず、ＮＧ判定をすべきことを規定する。また、ルールベースデータ３４ｄは、衣類変数Ｖｃｌの値が「ｙｃ１」以外であって且つ露出度変数Ｖｅｐの値が「ｙｅ１」である場合、背景識別変数Ｖｂｇの値にかかわらず、ＯＫ判定をすべきことを規定する。また、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ２」である場合、衣類変数Ｖｃｌの値および背景識別変数Ｖｂｇの値にかかわらず、ＮＧ判定をすべきことを規定する。

【0078】

一方、衣類変数ｙｃ２は、水着を示す変数である。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ３」であって且つ衣類変数Ｖｃｌの値が「ｙｃ２」である場合、背景識別変数Ｖｂｇの値に応じて異なる評価を規定する。すなわち、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ１」である場合には、ＯＫ判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ３」である場合には、ＮＧ判定をすべきことを規定する。

【0079】

また、衣類変数ｙｃ３は、スポーツウェアを示す変数である。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ３」であって且つ衣類変数Ｖｃｌの値が「ｙｃ３」である場合、背景識別変数Ｖｂｇの値に応じて異なる評価を規定する。すなわち、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ２」である場合には、ＯＫ判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ３」である場合には、ＮＧ判定をすべきことを規定する。

【0080】

ＰＵ３２は、Ｓ３８ａの処理を完了する場合、Ｓ４０の処理によって生成された埋込画像データＩＭＤの全てについて、ＯＫ判定またはＮＧ判定の何れかの評価が完了したか否かを判定する（Ｓ４６）。ＰＵ３２は、未だ評価が完了していない領域がある場合（Ｓ４６：ＮＯ）、Ｓ３０ａの処理に戻る。一方、ＰＵ３２は、全ての評価が完了したと判定する場合（Ｓ４６：ＹＥＳ）、Ｓ３８ａの評価の対象となった埋込画像データＩＭＤにＮＧ判定されたデータがあったか否かを判定する（Ｓ４８）。ＰＵ３２は、ＮＧ判定されたデータがあると判定する場合（Ｓ４８：ＹＥＳ）、ＮＧ判定をする（Ｓ５０）。これに対し、ＰＵ３２は、ＮＧ判定されたデータがないと判定する場合（Ｓ４８：ＮＯ）、ＯＫ判定をする（Ｓ５２）。

【0081】

なお、ＰＵ３２は、Ｓ５０，Ｓ５２の処理を完了する場合、図３のＳ１６の処理を完了する。
以上説明した本実施形態によれば、上記第１の実施形態において得られる作用および効果に準じた効果に加えて、さらに以下の作用および効果が得られる。

【0082】

（３－１）人の状態を識別する変数である前景識別変数を、露出度変数Ｖｅｐと衣類変数Ｖｃｌとの組によって構成した。これにより、フレームデータＦＤが示す人の状態が、ＣＭ動画データの配信にとって適切か否かをより詳細に評価できる。

【0083】

（３－２）ＰＵ３２は、フレームデータＦＤの画素領域のうち、人を示す画素領域を、連続する領域毎に抽出して、所定の背景画像に埋め込んだ。そしてＰＵ３２は、所定の背景画像に埋め込まれた人の画像データである埋込画像データＩＭＤを、露出度識別モデルＭ１０および衣類識別モデルＭ１６に入力した。これにより、フレームデータＦＤが示す画像に複数の人が含まれる場合、複数の人のそれぞれについて状態を評価できる。

【0084】

＜第４の実施形態＞
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

【0085】

本実施形態では、前景識別写像データ３４ｂによって規定される学習済みモデルを変更する。
図８に、フレーム評価処理の詳細を示す。図８に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。

【0086】

図８に示す一連の処理において、ＰＵ３２は、まずフレームデータＦＤを身体識別モデルＭ１８に入力することによって、フレームデータＦＤの各画素に関する身体識別変数の値を算出する（Ｓ６０）。身体識別変数は、対応する画素が表現する身体の部分を特定するラベル変数である。このラベル変数は、少なくとも図２の部分「３～５，１１～１４，１８」のそれぞれを識別する変数である。身体識別モデルＭ１８は、セマンティックセグメンテーションを実行するモデルである。

【0087】

身体識別モデルＭ１８は、例として、教師あり学習によって学習された学習済みモデルである。身体識別モデルＭ１８は、たとえば、画素領域のそれぞれに、少なくとも図２の部分「３～５，１１～１４，１８」のそれぞれを識別するラベル変数の値が付与されたフレームデータＦＤを訓練データとして学習されたモデルである。身体識別モデルＭ１８は、たとえばＮＮであってよい。その場合、身体識別モデルＭ１８を構成するＮＮの出力活性化関数は、ソフトマックス関数であってよい。身体識別モデルＭ１８は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、身体識別モデルＭ１８がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。

【0088】

身体識別モデルＭ１８は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである身体識別モデルＭ１８の学習済みのパラメータの値を含むデータである。また、前景識別写像データ３４ｂは、身体識別モデルＭ１８に応じて適宜構成される。

【0089】

次にＰＵ３２は、フレームデータＦＤを、着衣識別モデルＭ２０に入力することによって、フレームデータＦＤが示す各画素に関する着衣識別変数の値を算出する（Ｓ６２）。着衣識別変数は、対応する画素が、皮膚であるか衣類であるかそれ以外であるかを識別するラベル変数である。着衣識別モデルＭ２０は、セマンティックセグメンテーションを実行するモデルである。

【0090】

着衣識別モデルＭ２０は、例として、教師あり学習によって学習された学習済みモデルである。着衣識別モデルＭ２０は、たとえば、画素領域のそれぞれに、少なくとも皮膚、衣類、およびそれら以外のそれぞれを識別するラベル変数の値が付与されたフレームデータＦＤを訓練データとして学習されたモデルである。着衣識別モデルＭ２０は、たとえばＮＮであってよい。その場合、着衣識別モデルＭ２０を構成するＮＮの出力活性化関数は、ソフトマックス関数であってよい。着衣識別モデルＭ２０は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。着衣識別モデルＭ２０がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。

【0091】

着衣識別モデルＭ２０は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである着衣識別モデルＭ２０の学習済みのパラメータの値を含むデータである。また、前景識別写像データ３４ｂは、着衣識別モデルＭ２０に応じて適宜構成される。

【0092】

次にＰＵ３２は、胸部、正面下腹部、および尻部の少なくとも１つの領域に関する、着衣識別変数の値に、肌を示す値が含まれるか否かを判定する（Ｓ６４）。ここで、胸部、正面下腹部、および尻部の少なくとも１つの領域は、身体識別変数の値によって、図２の部分「３～５，１１～１４，１８」のいずれかを示す値が付与された領域である。Ｓ６４の処理は、胸部、正面下腹部、および尻部の少なくとも一部が露出しているか否かを判定する処理である。ＰＵ３２は、肌を示す値が存在すると判定する場合（６４：ＹＥＳ）、着衣識別変数の値が肌を示す値となるのが、胸部のみであるか否かを判定する（Ｓ６６）。

【0093】

ＰＵ３２は、上記肌を示す値となるのが胸部のみであると判定する場合（Ｓ６６：ＹＥＳ）、図２に示した部分「４，５」に付与された着衣識別変数の値に肌を示す値が存在するか否かを判定する（Ｓ６８）。そして、ＰＵ３２は、肌を示す値が存在すると判定する場合（Ｓ６８：ＹＥＳ）、露出度変数Ｖｅｐに露出度変数ｙｅ２を代入する（Ｓ７０）。Ｓ７０の処理は、露出度変数Ｖｅｐに、ラベル変数としての露出度変数ｙｅ２自体を代入する処理である。

【0094】

一方、ＰＵ３２は、図２に示した部分「４，５」に付与された着衣識別変数の値に肌を示す値が存在しないと判定する場合（Ｓ６８：ＮＯ）、Ｓ７２の処理に移行する。ＰＵ３２は、Ｓ７２の処理において、図２に示した部分「４，５」に付与された着衣識別変数の値が衣類を示す値であるか否かを判定する（Ｓ７２）。この処理は、図２に示した部分「４，５」が、衣類によって覆われているか否かを判定する処理である。ＰＵ３２は、図２に示した部分「４，５」に付与された着衣識別変数の値が衣類を示す値であると判定する場合（Ｓ７２：ＹＥＳ）、露出度変数Ｖｅｐに、露出度変数ｙｅ３を代入する（Ｓ７４）。すなわち、Ｓ７２の処理において肯定判定される場合、フレームデータＦＤが示す人の状態は次の状態となっていると考えられる。すなわち、胸部、正面下腹部、および尻部のうち図２に示した部分「３」に限って、局所的に露出している状態である。

【0095】

このように、本実施形態では、身体識別変数の値によって、部分「３～５，１１～１４，１８」であると特定された画素領域のそれぞれについて、着衣識別変数の値に応じて肌の露出の有無を判定する。そして、その判定結果に応じて露出度変数Ｖｅｐの値を定める。

【0096】

なお、ＰＵ３２は、露出度変数Ｖｅｐの値が定まると、図４のＳ３４～Ｓ３８の処理を実行する。
＜第５の実施形態＞
以下、第５の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

【0097】

本実施形態では、フレームデータＦＤの評価を、３通りとする。
図９に、本実施形態にかかる画像評価装置３０によって実行される、ＣＭ動画データの評価処理の手順を示す。図９に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図９において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。

【0098】

図９に示す一連の処理において、ＰＵ３２は、Ｓ１４の処理を完了する場合、フレーム評価処理を実行する（Ｓ１６ａ）。
図６および図１０に、Ｓ１６ａの処理の詳細を示す。なお、図１０において、図７に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。

【0099】

図１０に示すように、ＰＵ３２は、Ｓ３６の処理を完了する場合、露出度変数Ｖｅｐ、衣類変数Ｖｃｌおよび背景識別変数Ｖｂｇに応じてフレームデータＦＤを評価する（Ｓ３８ｂ）。ここでＰＵ３２は、ルールベースデータ３４ｄに従って、フレームデータＦＤを評価する。

【0100】

本実施形態にかかる衣類変数ｙｃ１は、公序良俗に反することが特に顕著なラベルが付与された衣類を示す。以下、これを「公序良俗違反ラベル第１類」と称する。ルールベースデータ３４ｄは、衣類変数Ｖｃｌの値が衣類変数ｙｃ１の場合、露出度変数Ｖｅｐの値および背景識別変数Ｖｂｇの値にかかわらず、ＮＧ判定をすべきことを規定する。また、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ３，ｙｃ２，ｙｂ１」の場合、ＯＫ２判定をすべきことを規定する。また、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ３，ｙｃ３，ｙｂ２」の場合、ＯＫ１判定をすべきことを規定する。ここで、ＯＫ２判定は、ＯＫ１判定よりも、配信に制限を設けることが望ましい可能性が高い旨を示す。

【0101】

衣類変数ｙｃ４は、「公序良俗違反ラベル第１類」と比較して公序良俗に反する可能性が低いものの、学校等、特定のシチュエーションにおいては必ずしも許容されるとは限らないラベルが付与された衣類を示す。以下、これを、「公序良俗違反ラベル第２類」と称する。また、背景識別変数ｙｂ４は、校内を示す。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ１，ｙｃ４，ｙｂ４」の場合、ＯＫ２判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、および衣類変数Ｖｃｌの値のそれぞれが「ｙｅ１，ｙｃ４」であっても、背景識別変数Ｖｂｇの値が「ｙｂ４」ではない場合、ＯＫ１判定をすべきことを規定する。これは、学校等においては好ましくない衣類の表示がある場合に、ＯＫ１判定よりも配信に制限を設けることが望ましい可能性があることを示す。

【0102】

また、衣類変数ｙｃ５は、たとえばミニスカート等の所定の服装を示す。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ１，ｙｃ５，ｙｂ４」の場合、ＯＫ２判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、および衣類変数Ｖｃｌの値のそれぞれが「ｙｅ１，ｙｃ５」であっても、背景識別変数Ｖｂｇの値が「ｙｂ４」ではない場合、ＯＫ１判定をすべきことを規定する。これは、学校等においては、上記所定の服装をまとった人の画像を含むＣＭ動画データを、ＯＫ１判定よりも配信に制限を設けることが望ましい可能性があることを示す。

【0103】

ＰＵ３２は、Ｓ３８ｂの処理を完了する場合、Ｓ４２の処理によって生成された埋込画像データＩＭＤの全てについて、Ｓ３８ｂの処理が完了したか否かを判定する（Ｓ９０）。そしてＰＵ３２は、未だＳ３８ｂの処理が完了していない埋込画像データＩＭＤが存在する場合（Ｓ９０：ＮＯ）、図６のＳ３０ａの処理に戻る。一方、ＰＵ３２は、Ｓ３８ｂの処理がすべて完了したと判定する場合（Ｓ９０：ＹＥＳ）、ＮＧ判定があるか否かを判定する（Ｓ９２）。ＰＵ３２は、ＮＧ判定があると判定する場合（Ｓ９２：ＹＥＳ）、フレームデータＦＤに対して最終的なＮＧ判定をする（Ｓ９４）。これに対し、ＰＵ３２は、ＮＧ判定がないと判定する場合（Ｓ９２：ＮＯ）、ＯＫ２判定があるか否かを判定する（Ｓ９６）。ＰＵ３２は、ＯＫ２判定があると判定する場合、フレームデータＦＤに対して最終的なＯＫ２判定をする（Ｓ９８）。一方、ＰＵ３２は、ＯＫ２判定がないと判定する場合（Ｓ９６：ＮＯ）、フレームデータＦＤに対して最終的なＯＫ１判定をする（Ｓ１００）。

【0104】

なお、ＰＵ３２は、Ｓ９４，Ｓ９８，Ｓ１００の処理が完了する場合、図９のＳ１６ａの処理を完了する。
図９に戻り、ＰＵ３２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの１つ以上についてＮＧ判定がなされたか否かを判定する（Ｓ８０）。そして、ＰＵ３２は、ＮＧ判定が１つ以上であると判定する場合（Ｓ８０：ＹＥＳ）、ＣＭ動画データに対してＮＧ判定をする（Ｓ８２）。一方、ＰＵ３２は、ＮＧ判定が「０」であると判定する場合（Ｓ８０：ＮＯ）、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの１つ以上についてＯＫ２判定がなされたか否かを判定する（Ｓ８４）。ＰＵ３２は、１つ以上ＯＫ２判定がなされたと判定する場合（Ｓ８４：ＹＥＳ）、ＣＭ動画データに対してＯＫ２判定をする（Ｓ８６）。一方、ＰＵ８２は、ＯＫ２判定が「０」であると判定する場合（Ｓ８４：ＮＯ）、変数ｉに「Ｎ」を加算する（Ｓ２２）。そしてＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在するか否かを判定する（Ｓ２４）。ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在すると判定する場合（Ｓ２４：ＹＥＳ）、Ｓ１４の処理に戻る。一方、ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在しないと判定する場合（Ｓ２４：ＮＯ）、ＣＭ動画データに対してＯＫ１判定をする（Ｓ８８）。

【0105】

図１１に、ユーザ端末５０において、ユーザが望む基準を満たす画像を表示することを支援する処理の手順を示す。図１１に示す処理は、２つの処理よりなる。１つは、ユーザ端末５０の記憶装置５４に記憶されたアプリケーションプログラム５４ａをＰＵ５２が所定周期でくり返し実行することにより実現される処理である。もう１つは、画像評価装置３０の記憶装置３４に記憶された画像評価プログラム３４ａをＰＵ３２が所定周期でくり返し実行することにより実現される処理である。

【0106】

図１１に示すように、ユーザ端末５０のＰＵ５２は、ユーザから再生を許容するＣＭ動画の基準についての要求を受け付ける（Ｓ１１０）。ここで、ＰＵ５２は、ユーザインターフェース５８が備える表示装置に、ＯＫ１判定のみを許容するか、ＯＫ１判定およびＯＫ２判定を許容するかを選択可能である旨を表示する。Ｓ１１０の処理は、ユーザによるユーザインターフェース５８への要求入力を受け付ける処理である。次に、ＰＵ５２は、通信機５６を操作することによって、ユーザの識別記号であるユーザＩＤと、要求された基準と、を送信する（Ｓ１１２）。

【0107】

これに対し、画像評価装置３０のＰＵ３２は、ユーザＩＤと要求された基準とを受信する（Ｓ１２０）。そしてＰＵ３２は、ユーザＩＤと要求された基準とを記憶装置３４に記憶する（Ｓ１２２）。そして、ＰＵ３２は、ＣＭ動画データを評価する（Ｓ１２４）。Ｓ１２４の処理は、図９に示した処理である。

【0108】

そしてＰＵ３２は、通信機３６を操作することによって、評価結果に応じて、ユーザ端末５０（１），５０（２），…のそれぞれに、要求された基準を満たす画像が表示可能なように画像データを送信する（Ｓ１２６）。すなわち、ＰＵ３２は、ＯＫ１判定のＣＭ動画データについては、全てのユーザ端末５０に無条件でＣＭ動画データを送信する。一方、ＰＵ３２は、ＯＫ２判定のＣＭ動画データについては、ＯＫ２判定を許容するユーザのユーザ端末５０に無条件でＣＭ動画データを送信する。これに対し、ＯＫ２判定を許容しないユーザのユーザ端末５０には、ＯＫ２判定のＣＭ動画データの送信を禁止してもよい。またこれに代えて、ＰＵ３２は、Ｓ２０ａの処理と同様の処理を実行してもよい。一方、ＰＵ３２は、ＮＧ判定のＣＭ動画データについては、全てのユーザのユーザ端末にその動画データを送信することを禁止してもよい。またこれに代えて、ＰＵ３２は、Ｓ２０ａの処理を実行してもよい。なお、ＰＵ３２は、Ｓ１２６の処理を完了する場合、図１１に示す一連の処理のうちのＰＵ３２が実行する処理を一旦終了する。

【0109】

一方、ユーザ端末５０のＰＵ５２は、画像評価装置３０から送信された画像データを受信する（Ｓ１１４）。ここで、ＰＵ５２は、基準を満たすＣＭ動画データについては無条件で再生する。また、基準を満たさないＣＭ動画データを受信する場合、同ＣＭ動画データに付与された制限指令に応じて、警告を発するか、マスクをするか、再生を禁止するかする。

【0110】

なお、ＰＵ５２は、Ｓ１１４の処理を完了する場合、図１１に示す一連の処理のうちのＰＵ５２が実行する処理を一旦終了する。
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。

【0111】

［１，３，５，６，１１］実行装置は、ＰＵ３２に対応する。記憶装置は、記憶装置３４に対応する。前景識別写像データは、前景識別写像データ３４ｂに対応する。背景識別写像データは、背景識別写像データ３４ｃに対応する。

【0112】

前景識別写像は、図４においては、Ｓ３０，Ｓ３２の処理によって実現される写像に対応する。すなわち、フレームデータＦＤが入力されて露出度変数Ｖｅｐの値を出力する写像に対応する。前景識別写像は、図６および図９においては、Ｓ３０ａ，Ｓ３２，Ｓ４０～Ｓ４６の処理によって実現される写像に対応する。すなわち、フレームデータＦＤが入力されて露出度変数Ｖｅｐの値および衣類変数Ｖｃｌの値を出力する写像に対応する。前景識別写像は、図８においては、図８に示す処理によって実現される写像に対応する。すなわち、フレームデータＦＤが入力されて露出度変数Ｖｅｐの値を出力する写像に対応する。

【0113】

前景識別変数は、図４および図８においては、露出度変数Ｖｅｐに対応する。前景識別変数は、図６においては、露出度変数Ｖｅｐおよび衣類変数Ｖｃｌの組に対応する。
評価処理は、Ｓ３８，Ｓ１８～Ｓ２４の処理、Ｓ３８ａ，Ｓ１８～Ｓ２４の処理、および図９の処理に対応する。

【0114】

［２］第１の値は、図４における「ｙｅ１」、「ｙｅ２」と、図７における「－，ｙｃ１」、「ｙｅ１，ｙｃ１以外」、「ｙｅ２，－」と、図１０における「－，ｙｃ１」、「ｙｅ１，ｙｃ１、ｙｃ３以外」、「ｙｅ２，－」と、に対応する。第２の値は、図４における「ｙｅ３」と、図７における「ｙｅ３，ｙｃ２」，「ｙｅ３，ｙｃ３」と、図１０における「ｙｅ３，ｙｃ２」、「ｙｅ３，ｙｃ３」、「ｙｅ１，ｙｃ４」、「ｙｅ１，ｙｃ５」と、に対応する。［４］衣類の種類を特定する値は、衣類変数Ｖｃｌの値に対応する。

【0115】

［７］ユーザ端末は、ユーザ端末５０（１），５０（２），…に対応する。提供処理は、図３および図５のＳ２６の処理と、図１１のＳ１２４において要求基準を満たすと判定されたときのＳ１２６の処理とに対応する。制限処理は、図３のＳ２０の処理、図５のＳ２０ａの処理、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理に対応する。［８，１０］指示処理は、Ｓ１１０，Ｓ１１２の処理に対応する。［９］禁止処理は、Ｓ２０の処理、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理に対応する。制限送信処理は、Ｓ２０ａの処理、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理に対応する。［１２］画像評価プログラムは、画像評価プログラム３４ａに対応する。

【0116】

［１３～１５］提供工程は、図３および図６のＳ２６の処理を実行する工程と、図１１のＳ１２４において要求基準を満たすと判定されたときのＳ１２６の処理とを実行する工程に対応する。制限工程は、図３のＳ２０の処理を実行する工程、図５のＳ２０ａの処理を実行する工程、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理を実行する工程に対応する。取得工程は、Ｓ１０の処理に対応する。

【0117】

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0118】

「所定部位について」
再生して問題がある画像であるという評価の根拠である、１以上の身体の部分（所定の部位）は、胸部、正面下腹部、および尻部に限らず、例えば図２における身体の部分の少なくとも１つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図２における１の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇，眼，髪等の身体の部分の一部が上記根拠となってもよい。

【0119】

「衣類変数について」
・衣類変数が、水着とスポーツウェアとで互いに異なる値となることは必須ではない。水着、スポーツウェア等、胸部、正面下腹部、および尻部に限って覆っている所定の衣類を同じ変数値としてもよい。

【0120】

「背景識別変数について」
・背景識別変数が、プール、川、海と、スポーツジムとで互いに異なる値となることは必須ではない。たとえば、それらを同一の変数値としてもよい。

【0121】

・たとえば、背景識別変数の値に、公序良俗を乱すポスター、アダルトグッズ等が含まれる場合の値を含めてもよい。
「衣類識別写像について」
・図６等には、衣類識別写像を構成する衣類識別モデルＭ１６を複数の出力を有する単一のモデルとしたが、これに限らない。たとえば、衣類が水着であるか否かを識別するモデル、衣類がスポーツウェアであるか否かを識別するモデル等の複数の識別モデルとしてもよい。

【0122】

・衣類識別写像を構成する衣類識別モデルＭ１６の入力が、埋込画像データＩＭＤであることは必須ではない。たとえば、フレームデータＦＤを入力としてもよい。その場合、フレームデータＦＤが示す画像中に複数の人が存在する場合、異常の度合いが最も大きくなる評価が最もなされやすくなる衣類の変数を指定するモデルとすればよい。具体的には、たとえば、ＯＫ判定とＮＧ判定との２値的な判定をする場合、複数人のそれぞれが身に着けている衣類のうちのＮＧ判定がされやすい衣類を指定すればよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい衣類がある場合、ＮＧ判定がされやすい衣類を指定すればよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい衣類がない場合、ＯＫ２判定がされやすい衣類を指定すればよい。

【0123】

またたとえば、人の代表点の座標と、その人の衣類変数との双方を出力する回帰モデル兼識別モデルにフレームデータＦＤを直接入力してもよい。具体的には、このモデルは、予め定められた上限の人数「ｋ」人について、ｋ個の代表点の出力と、ｋ個の衣類変数の値とを出力するモデルとしてもよい。その場合、フレームデータＦＤに含まれる人の数が「ｋ」人に満たない場合、それらに対応する衣類変数の値が所定の値となるようにすればよい。このモデルは、「衣類識別写像について」の欄に記載した回帰モデル兼識別モデルとともに用いて好適である。

【0124】

「露出度識別写像について」
・露出度識別写像を構成する露出度識別モデルＭ１０を、露出度に応じた複数の値を出力する単一モデルとすることは、必須ではない。たとえば、「ｙｅ１」相当であるか否かを識別するモデル、「ｙｅ２」相当であるか否かを識別するモデル等、複数の識別モデルとしてもよい。

【0125】

・Ｓ３０ａの処理における露出度識別モデルＭ１０の入力が埋込画像データＩＭＤであることは必須ではない。たとえば、フレームデータＦＤを入力としてもよい。その場合、フレームデータＦＤが示す画像中に複数の人が存在する場合、異常の度合いが最も大きくなる評価が最もなされやすくなる露出度を示すモデルとすればよい。具体的には、たとえば、ＯＫ判定とＮＧ判定との２値的な判定をする場合、複数人のうちのＮＧ判定がされやすい人の露出度を示せばよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい衣類がある場合、ＮＧ判定がされやすい露出度を示せばよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい露出度の人が存在しない場合、ＯＫ２判定がされやすい人の露出度を示せばよい。

【0126】

またたとえば、人の代表点の座標と、その人の露出度変数との双方を出力する回帰モデル兼識別モデルにフレームデータＦＤを直接入力してもよい。具体的には、このモデルは、予め定められた上限の人数「ｋ」人について、ｋ個の代表点の出力と、ｋ個の露出度変数の値とを出力するモデルとしてもよい。その場合、フレームデータＦＤに含まれる人の数が「ｋ」人に満たない場合、それらに対応する露出度変数の値が所定の値となるようにすればよい。このモデルは、「衣類識別写像について」の欄に記載した回帰モデル兼識別モデルとともに用いて好適である。

【0127】

「露出度識別モデルの出力について」
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の３つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である３個用意することによって実現できる。

【0128】

「前景識別写像について」
・図６においては、露出度識別モデルＭ１０および衣類識別モデルＭ１６の２つの学習済みモデルを利用して前景識別写像を構成したが、これに限らない。たとえば、身体の露出度と衣類の種類との双方を識別するラベル変数を出力する単一の学習済みモデルを利用して前景識別写像を構成してもよい。これは、たとえば図６において、「ｙｅ１，ｙｃ１」に対応するフレームデータＦＤ、「ｙｅ１，ｙｃ１以外」に対応するフレームデータなどに各別の目標変数を付与した訓練データを用いて実現できる。

【0129】

「前景識別処理について」
・Ｓ３０の処理において、露出度識別モデルＭ１０への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。

【0130】

・Ｓ３０ａの処理において、露出度識別モデルＭ１０への入力データとしては、Ｒ，Ｇ，Ｂの各画像データに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。

【0131】

・衣類識別モデルＭ１６への入力データとしては、Ｒ，Ｇ，Ｂの各画像データに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。

【0132】

・身体識別モデルＭ１８への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。

【0133】

・着衣識別モデルＭ２０への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。

【0134】

・たとえば、「露出度識別写像について」および「衣類識別写像について」の欄に記載したように、露出度識別モデルと衣類識別モデルとが上述の回帰モデル兼識別モデルの場合、次のようにすればよい。すなわち、露出度識別モデルが出力する代表点と衣類識別モデルが出力する代表点とを対応付ければよい。これにより、対応付けられた一対の代表点のそれぞれに紐づいている露出度変数と衣類変数とからＳ３８ａ，Ｓ３８ｂの処理を実行することができる。

【0135】

「背景識別処理について」
・背景識別モデルＭ１２への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから背景に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、背景に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。

【0136】

「評価処理について」
・評価処理が、前景識別変数の値のみから異常か否かを評価する処理と、前景識別変数の値と背景識別変数の値との双方から異常か否かを評価する処理と、からなることは必須ではない。たとえば、前景識別変数の値にかかわらず、ＮＧ判定される処理を含めてもよい。この処理は、たとえば、背景識別変数の値に、「背景識別変数について」の欄に記載したように、アダルトグッズ等が含まれる場合の値が含まれる場合等において好適である。

【0137】

・複数のフレームにおいてそれらの一部且つ所定数以上異常がない旨の評価がなされる場合に異常がない旨の最終的な評価をすることは必須ではない。たとえば、所定周期でサンプリングされたフレームデータＦＤの全てがフレーム評価処理によってＯＫとされる場合に限って、最終的なＯＫ判定をしてもよい。なお、ここで所定周期は、フレームの周期と等しくてもよい。

【0138】

「前景識別写像データについて」
・前景識別写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、前景識別写像データとして記憶装置３４に記憶する。

【0139】

「背景識別写像データについて」
・背景識別写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、背景識別写像データとして記憶装置３４に記憶する。

【0140】

「制限処理、制限工程について」
・Ｓ２０ａの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、Ｓ２０ａの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位のうちの実際に露出している領域は、たとえば露出度識別モデルＭ１０の注視領域に基づき特定してもよい。

【0141】

・たとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかったフレームデータＦＤの数が所定数に満たない場合に、ＣＭ動画データの配信（送信）を禁止してもよい。その場合、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのすべてにおいてＯＫ判定がなされることを条件として、ＣＭ動画データの配信（送信）を行ってもよい。

【0142】

またたとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかったフレームデータＦＤの数が所定数である場合に、ＣＭ動画データの配信（送信）を禁止してもよい。その場合、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤの少なくとも一部においてＯＫ判定がなされることを条件として、ＣＭ動画データの配信（送信）を行ってもよい。

【0143】

またたとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかった所定数に満たないフレームデータＦＤを挟んでＯＫ判定がなされたフレームデータＦＤが連続する場合、ＣＭ動画データの配信（送信）を行ってもよい。

【0144】

なお、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされた所定数に満たないフレームデータＦＤを挟んでＯＫ判定がなされなかったフレームデータＦＤが連続する場合、ＣＭ動画データの配信（送信）を禁止してもよい。

【0145】

・Ｓ２０ａの処理によってユーザ端末５０において画像が表示されることを制限する処理にとって、図４に示すフレーム評価処理等によって評価がなされることは必須ではない。たとえば図６に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にＳ２０ａの処理を適用してもよい。またたとえば、図８に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にＳ２０ａの処理を適用してもよい。

【0146】

・図１１の処理において、Ｓ１１２，Ｓ１２０，Ｓ１２２の処理を省いてもよい。その場合、ＰＵ３２は、ＯＫ２判定の場合、Ｓ１２６の処理において、ＯＫ２判定である旨を制限指令としてＣＭ動画データに付与すればよい。その場合、ユーザ端末５０のＰＵ５２は、Ｓ１１０の処理によって受け付けた基準と、制限指令とに応じてＣＭ動画データを再生するか否か等を決定すればよい。

【0147】

・たとえばＮＧ判定がなされたフレームを削除したＣＭ動画データをユーザ端末５０に送信してもよい。これによっても、ユーザ端末５０において不適切な画像が表示されることを抑制できる。

【0148】

・ユーザ端末５０に専用のアプリケーションプログラム５４ａが記憶されていることは必須ではない。たとえば、画像評価装置３０から配信されたＣＭ動画データを汎用のブラウザを利用して再生してもよい。

【0149】

「実行装置について」
・実行装置としては、ＰＵ３２に限らない。たとえば、実行装置を、ＡＳＩＣ、およびＦＰＧＡ等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成を備える処理回路を含んでいてもよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路（ハードウェアアクセレータ）とを備える処理回路。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。

【0150】

「画像評価装置について」
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末５０に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末５０に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末１０から送信された画像データを受信することも必須ではない。業者端末１０から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。

【0151】

「コンピュータについて」
・画像評価プログラム３４ａを実行するコンピュータとしては、画像評価装置３０が備えるＰＵ３２に限らない。たとえば、画像評価プログラム３４ａをユーザ端末５０にインストールすることによって、ユーザ端末５０のＰＵ５２を画像評価プログラム３４ａを実行するコンピュータとしてもよい。

【0152】

「そのほか」
・ＰＵ１２が、ＰＵ３２に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、ＣＭ動画データとして、ストリーミング映像の態様でユーザ端末５０に対して配信（送信）されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末５０に対してリアルタイムに配信（送信）されてよい。評価対象となる画像データは、ＣＭ動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人（人物）の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。

【0153】

・ＰＵ３２は、ルールベースデータ３４ｄにおいて、ＯＫ判定またはＮＧ判定の根拠として扱われる、明示的に予め定められた各種変数の組み合わせを、業者端末１０および／またはユーザ端末５０に対して、ＣＭ動画データの配信（送信）の前に通知してよい。また、ＰＵ３２は、当該組み合わせを、業者端末１０および／またはユーザ端末５０に対して、ＣＭ動画データの配信（送信）中に通知してよい。また、ＰＵ３２は、配信（送信）中のＣＭ動画データのフレームデータＦＤについてＮＧ判定の根拠となった各種変数の組み合わせを、業者端末１０および／またはユーザ端末５０に対して、通知してよい。なお、ここでの「通知」とは、業者端末１０および／またはユーザ端末５０に対するメッセージ送信の態様であってよく、業者端末１０および／またはユーザ端末５０において表示中のＣＭ動画データに重畳させる表示処理の態様であってよい。

【符号の説明】

【0154】

１０…業者端末
１４…記憶装置
２０…ネットワーク
３０…画像評価装置
５０…ユーザ端末
５４…記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】