ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7455889画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240318BHJP
G06V 10/82 20220101ALI20240318BHJP
G06V 40/10 20220101ALI20240318BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 350C
G06V10/82
G06V40/10
【請求項の数】
11
(21)【出願番号】P 2022064667
(22)【出願日】2022-04-08
(65)【公開番号】P2023154980
(43)【公開日】2023-10-20
【審査請求日】2023-02-16
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】中澤 満
(72)【発明者】
【氏名】陳 科翰
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１８－１２０６４４（ＪＰ，Ａ）
【文献】特開２０２１－０８６３２２（ＪＰ，Ａ）
【文献】特開２０２０－０２１１４８（ＪＰ，Ａ）
【文献】特開２０１２－１７００２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ４０／１０ － ４０／２０
(57)【特許請求の範囲】
【請求項1】
実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記評価写像は、特徴量レイヤを備え、
前記特徴量レイヤは、前記画像データが示す領域を複数個の領域に分割したそれぞれに数値を与えることによって、前記画像データの特徴量を定量化するレイヤであり、
前記評価写像は、前記特徴量レイヤが示す前記複数個の領域の少なくとも一部の値と前記位置情報データとを合成する処理を含んで前記評価結果を出力する写像である画像評価装置。
【請求項2】
実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記評価写像は、仮評価写像を含み、
前記仮評価写像は、前記評価用入力データを入力として前記画像データの仮の評価結果を出力する写像であり、
前記評価処理は、仮評価処理と、妥当性評価処理と、を含み、
前記仮評価処理は、前記仮評価写像に前記評価用入力データを入力することによって前記仮の評価結果を出力する処理を含み、
前記妥当性評価処理は、前記位置情報データを入力として、前記画像データの示す領域のうちの前記所定部位を示す領域が前記仮の評価結果に寄与した度合いに応じて前記仮の評価結果の妥当性を評価する処理を含む画像評価装置。
【請求項3】
実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像をユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理であり、
前記制限しなくてよい旨の評価は、前記ユーザ端末からの指示に基づいて、身体の露出度についての許容範囲内である旨の評価であり、
前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である画像評価装置。
【請求項4】
前記実行装置は、通知処理を実行するように構成され、前記通知処理は、前記妥当性評価処理によって妥当ではないと判定される場合に、妥当ではない旨を通知する処理である請求項２に記載の画像評価装置。
【請求項5】
前記所定部位は、人の胸部、尻部、および正面下腹部の３つの部分のうちの少なくとも１つを含む請求項１～請求項４のうち何れか一項に記載の画像評価装置。
【請求項6】
前記位置情報データは、前記評価用入力データを構成する各画素が前記所定部位を示すか否かの情報を付与するデータであり、前記評価写像は、前記評価用入力データの各画素と前記各画素に対応する前記位置情報データとが対応付けて入力されることによって前記評価結果を出力する写像である請求項１～請求項４のうち何れか一項に記載の画像評価装置。
【請求項7】
請求項１又は請求項２に記載の画像評価装置と、複数のユーザ端末と、を備える画像処理システム。
【請求項8】
実行装置、および記憶装置を有する画像評価装置と、複数のユーザ端末と、を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理であり、
前記ユーザ端末は、指示処理を実行するように構成され、
前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、
前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、
前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である画像処理システム。
【請求項9】
請求項８に記載の画像処理システムにおける前記ユーザ端末。
【請求項10】
請求項１～請求項３のうち何れか一項に記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法。
【請求項11】
請求項１～請求項３のうち何れか一項に記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法に関する。
【背景技術】
【0002】
たとえば下記特許文献１には、学習済みモデルを利用して画像データの異常を検出する装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２２－２６０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
発明者は、身体の所定部位の露出がある画像データを異常とすることを検討した。その場合、学習済みモデルが所定部位に注目することなく画像データの異常の有無の判定結果を出力する場合、判定精度が低くなるおそれがある。
【課題を解決するための手段】
【0005】
以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、前記位置情報写像データは、位置情報写像を規定するためのデータであり、前記位置情報写像は、位置情報データを出力する写像であり、前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、前記評価写像データは、評価写像を規定するためのデータであり、前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理である画像評価装置である。
１．実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、前記位置情報写像データは、位置情報写像を規定するためのデータであり、前記位置情報写像は、位置情報データを出力する写像であり、前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、前記評価写像データは、評価写像を規定するためのデータであり、前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理である画像評価装置である。
【0006】
上記構成では、評価写像に、画像データに応じた評価用入力データのみならず、位置情報データが入力される。位置情報データは、所定部位の情報を示すデータである。そのため、評価写像は、画像データ中の所定部位の位置についての情報を利用して評価結果を出力できる。そのため、位置情報データを利用しない場合と比較して、所定部位の露出等の異常をより高精度に評価できる。
【0007】
２．前記所定部位は、人の胸部、尻部、および正面下腹部の３つの部分のうちの少なくとも１つを含む上記１記載の画像評価装置である。
人の胸部、尻部、および正面下腹部の３つの部分の露出の有無は、公序良俗に反するか否かを定める上で特に重要である。そのため、上記構成では、所定部位の位置情報を利用することにより、画像データが公序良俗に反するか否かを高精度に評価できる。
人の胸部、尻部、および正面下腹部の３つの部分の露出の有無は、公序良俗に反するか否かを定める上で特に重要である。そのため、上記構成では、所定部位の位置情報を利用することにより、画像データが公序良俗に反するか否かを高精度に評価できる。
【0008】
３．前記位置情報データは、前記評価用入力データを構成する各画素が前記所定部位を示すか否かの情報を付与するデータであり、前記評価写像は、前記評価用入力データの各画素と前記各画素に対応する前記位置情報データとが対応付けて入力されることによって前記評価結果を出力する写像である上記１または２記載の画像評価装置である。
【0009】
上記評価写像は、評価用入力データおよび位置情報データが互いに対応付けて評価写像に入力される。そのため、画像データの各画素のうち所定部位に対応する画素に着目しつつ評価結果を算出する確実性を高めることができる。
【0010】
４．前記評価写像は、仮評価写像を含み、前記仮評価写像は、前記評価用入力データを入力として前記画像データの仮の評価結果を出力する写像であり、前記評価処理は、仮評価処理と、妥当性評価処理と、を含み、前記仮評価処理は、前記仮評価写像に前記評価用入力データを入力することによって前記仮の評価結果を出力する処理を含み、前記妥当性評価処理は、前記位置情報データを入力として、前記画像データの示す領域のうちの前記所定部位を示す領域が前記仮の評価結果に寄与した度合いに応じて前記仮の評価結果の妥当性を評価する処理を含む上記１～３のいずれか１つに記載の画像評価装置である。
【0011】
上記構成では、実行装置が、仮評価写像が出力する仮の評価結果に画像データが示す領域のうちの所定部位を示す領域が寄与した度合いに応じて、仮の評価結果の妥当性を評価する処理を実行する。そのため、妥当性の評価をすることなく仮評価写像の出力する仮の評価結果から最終的な評価結果を定める場合と比較すると、最終的な評価結果の精度を高めることができる。
【0012】
５．前記実行装置は、通知処理を実行するように構成され、前記通知処理は、前記妥当性評価処理によって妥当ではないと判定される場合に、妥当ではない旨を通知する処理である上記４記載の画像評価装置である。
【0013】
上記構成では、実行装置は、妥当性評価処理によって妥当ではないと判定する場合、その旨を通知する。そのため、仮の評価結果の妥当性について、最終的に人が判断することが可能となる。
【0014】
６．前記評価写像は、特徴量レイヤを備え、前記特徴量レイヤは、前記画像データが示す領域を複数個の領域に分割したそれぞれに数値を与えることによって、前記画像データの特徴量を定量化するレイヤであり、前記評価写像は、前記特徴量レイヤが示す前記複数個の領域の少なくとも一部の値と前記位置情報データとを合成する処理を含んで前記評価結果を出力する写像である上記１記載の画像評価装置である。
【0015】
上記構成では、実行装置が特徴量レイヤが示す複数個の領域の少なくとも一部の値と位置情報データとを合成する処理を施す。そのため、この処理の施された特徴量は、補正が施されない特徴量と比較して、所定部位により着目した特徴量となりうる。そのため、評価結果を、所定部位に確実に着目した評価結果とすることが可能となる。
【0016】
７．上記１～６のいずれか１つに記載の画像評価装置における前記実行装置、および前記記憶装置と、複数のユーザ端末と、を備え、前記実行装置は、提供処理、および制限処理を実行するように構成され、前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システムである。
【0017】
上記提供処理および制限処理によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
８．前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である上記７記載の画像処理システムである。
８．前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である上記７記載の画像処理システムである。
【0018】
上記構成では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
９．前記制限処理は、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも１つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像を警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記７または８記載の画像処理システムである。
９．前記制限処理は、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも１つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像を警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記７または８記載の画像処理システムである。
【0019】
上記禁止処理によれば、ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が、ユーザ端末に表示されることを確実に抑制できる。また、上記制限送信処理によれば、以下のいずれかが可能となる。
【0020】
・ユーザ端末により表示されることを制限すべき旨の警告がユーザ端末によってなされること。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。
【0021】
・ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が表示されることを、ユーザ端末において禁止すること。
１０．上記８記載の画像処理システムにおける前記ユーザ端末である。
１０．上記８記載の画像処理システムにおける前記ユーザ端末である。
【0022】
１１．上記１～６のいずれか１つに記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法である。
１２．上記１～６のいずれか１つに記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。
１２．上記１～６のいずれか１つに記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。
【0023】
１３．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
【0024】
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
１４．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって前記露出度が前記許容範囲内である旨評価された前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって、前記露出度が前記許容範囲から外れると評価された前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
１４．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって前記露出度が前記許容範囲内である旨評価された前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって、前記露出度が前記許容範囲から外れると評価された前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
【0025】
上記方法では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
１５．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
１５．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
【0026】
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
【図面の簡単な説明】
【0027】
【図1】第１の実施形態にかかる画像処理システムの全体構成を示す図である。
【図2】同実施形態にかかる表示可能な画像を規定する図である。
【図3】同実施形態にかかるＣＭ動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。
【図4】同実施形態にかかるフレーム評価処理の詳細な手順を示す図である。
【図5】同実施形態にかかるヒートマップを説明するための図である。
【図6】第２の実施形態にかかるＣＭ動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。
【図7】第３の実施形態にかかるフレーム評価処理の詳細な手順を示す流れ図である。
【図8】第４の実施形態にかかるフレーム評価処理の詳細な手順を示す図である。
【図9】同実施形態にかかる最終評価処理の詳細な手順を示す図である。
【図10】第５の実施形態にかかるフレーム評価処理の詳細な手順を示す図である。
【図11】同実施形態にかかるＣＭ動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。
【発明を実施するための形態】
【0028】
【0029】
複数の業者端末１０（１），１０（２），…は、何らかの商品を消費者に販売する業者が所持する端末である。なお、以下では、業者端末１０（１），１０（２），…を総括する場合、業者端末１０と記載する。業者端末１０は、ＰＵ１２、記憶装置１４、および通信機１６を備えている。ＰＵ１２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。記憶装置１４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置１４には、ＰＵ１２が実行するプログラムが記憶されている。
【0030】
業者端末１０の通信機１６は、ネットワーク２０を介して画像評価装置３０と通信可能とされる。業者端末１０は、販売したい商品に関するＣＭ動画データを画像評価装置３０に送信する。ここで、ＣＭ動画データとは、たとえば商品を広告するためのコマーシャル動画に相当する。ＣＭ動画の再生時間、フレーム数、解像度、およびデータフォーマットに制限はない。
【0031】
画像評価装置３０は、ＣＭ動画データを評価して、問題がない場合にはユーザ端末５０（１），５０（２），…に送信する。以下では、ユーザ端末５０（１），５０（２），…を総括する場合、ユーザ端末５０と記載する。
【0032】
画像評価装置３０は、ＰＵ３２、記憶装置３４、および通信機３６を備えている。ＰＵ３２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。詳しくは、ＰＵ３２は、画像処理、推論処理および並列処理等の所定の処理に特化したハードウェアアクセラレータを演算ユニットとして含んでよい。また、ＰＵ３２は、ホモジニアスアーキテクチャまたはヘテロジニアスアーキテクチャの態様をとる演算ユニットを含んでよい。また、ＰＵ３２は、単一のチップ上にモノリシックに集積された演算ユニットを含んでよく、チップレット等の複数のチップが接続された演算ユニットを含んでよい。記憶装置３４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置３４には、画像評価プログラム３４ａ、位置情報写像データ３４ｂ、および評価写像データ３４ｃが記憶されている。通信機３６は、ネットワーク２０を介して業者端末１０およびユーザ端末５０との通信を可能とするための機器である。
【0033】
ユーザ端末５０は、ＣＭ動画データを再生する端末である。ユーザ端末５０は、ＣＭ動画が示す商品の購入操作を実行する機能を有してもよい。
ユーザ端末５０は、ＰＵ５２、記憶装置５４、通信機５６、およびユーザインターフェース５８を備えている。ＰＵ５２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。ＰＵ５２は、ＰＵ３２に含まれ得る態様の演算ユニットを含んでもよい。記憶装置５４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置５４には、アプリケーションプログラム５４ａが記憶されている。アプリケーションプログラム５４ａは、画像評価装置３０から送信されるＣＭ動画データを再生するプログラムである。通信機５６は、ネットワーク２０を介して画像評価装置３０との通信を可能とするための機器である。ユーザインターフェース５８は、表示装置等を備える。
ユーザ端末５０は、ＰＵ５２、記憶装置５４、通信機５６、およびユーザインターフェース５８を備えている。ＰＵ５２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。ＰＵ５２は、ＰＵ３２に含まれ得る態様の演算ユニットを含んでもよい。記憶装置５４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置５４には、アプリケーションプログラム５４ａが記憶されている。アプリケーションプログラム５４ａは、画像評価装置３０から送信されるＣＭ動画データを再生するプログラムである。通信機５６は、ネットワーク２０を介して画像評価装置３０との通信を可能とするための機器である。ユーザインターフェース５８は、表示装置等を備える。
【0034】
「画像評価処理」
画像評価装置３０のＰＵ３２は、業者端末１０から送信されたＣＭ動画データがユーザ端末５０によって再生して問題ないデータであるか否かを評価する。
画像評価装置３０のＰＵ３２は、業者端末１０から送信されたＣＭ動画データがユーザ端末５０によって再生して問題ないデータであるか否かを評価する。
【0035】
図２は、再生して問題ないデータの定義の一例を示す。図２には、身体の部分のうち、所定部位に、マーキングがなされている。すなわち、部分「３」～「５」によって定義される胸部にマーキングがなされている。また、人体の正面視において、部分「１０」、「１１」、「１８」によって定義される「正面下腹部」にマーキングがなされている。また、人体の背面における部分「１２～１４」，「１８」によって定義される「尻部」にマーキングがなされている。ＰＵ３２は、人の画像のうち図２にマーキングした箇所が露出した画像については、再生して問題がある画像であると評価する。
【0036】
図３に、画像評価装置３０によって実行される、図２に示した基準に沿った評価に基づいてＣＭ動画データがユーザ端末５０によって選択的に表示されることを支援する処理の手順を示す。図３に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を表現する。
【0037】
図３に示す一連の処理において、ＰＵ３２は、まず、業者端末１０から送信されたＣＭ動画データを取得する（Ｓ１０）。なお、ここで、「取得」は、記憶装置３４に記憶されたＣＭ動画データのうちの１つを選択的に読み出すことを意味する。この処理の前に、ＰＵ３２は、通信機３６を介して業者端末１０から送信されたＣＭ動画データを受信する。そして、ＰＵ３２は、受信したＣＭ動画データを記憶装置３４に記憶する。
【0038】
次にＰＵ３２は、ＣＭ動画データのフレームを指定する変数ｉを初期化する（Ｓ１２）。この処理は、変数ｉを、ＣＭ動画データの先頭のフレームを指定する値とするための処理である。次に、ＰＵ３２は、フレームデータＦＤを、Ｎ個周期で３個サンプリングする（Ｓ１４）。すなわち、ＰＵ３２は、フレームデータＦＤ（ｉ）、ＦＤ（ｉ＋Ｎ）、ＦＤ（ｉ＋２Ｎ）をサンプリングする。なお、フレームデータＦＤ（１），ＦＤ（２），ＦＤ（３），…は、ＣＭ動画データの再生順序に従ったフレームデータＦＤの時系列を示す。詳しくは、フレームデータＦＤの後のカッコ内の数字が大きいほど、時系列的に後に再生されるフレームデータＦＤであることを示す。ちなみに、フレームデータＦＤは、レッド、グリーン、ブルーの３原色のそれぞれの輝度を示す「ｗ×ｈ」の画素数を有した２次元データである。ここで、「ｗ」および「ｈ」は自然数である。なお、以下では、上記３原色を適宜、「Ｒ，Ｇ，Ｂ」と表現する。
【0039】
そして、ＰＵ３２は、フレームデータＦＤ（ｉ）、ＦＤ（ｉ＋Ｎ）、ＦＤ（ｉ＋２Ｎ）のそれぞれを評価するフレーム評価処理を実行する（Ｓ１６）。
図４に、フレーム評価処理の詳細を示す。
図４に、フレーム評価処理の詳細を示す。
【0040】
図４に示す一連の処理において、ＰＵ３２は、１つのフレームデータＦＤを胸部、正面下腹部、尻部、および顔部の位置情報を出力する回帰モデルに入力する（Ｓ３０）。回帰モデルは、フレームデータＦＤが示す「ｗ×ｈ」の画像領域の少なくとも１部における、胸部、正面下腹部、尻部、および顔部のそれぞれの存在確率を示す２次元分布を出力するモデルである。ここで、２次元分布は、例として、２次元ガウス分布である。
【0041】
ＰＵ３２は、例として、胸部、正面下腹部、尻部、および顔部のそれぞれの存在確率に関する２次元ガウス分布が平均値を示すｘｙ座標成分の値と、分散パラメータとを出力する。本実施形態では、２次元ガウス分布の共分散行列を、対角行列とみなす。また、本実施形態では、２つの対角成分を等しいとみなす。したがって、本実施形態の２次元ガウス分布の分散パラメータは、１個である。回帰モデルは、画像領域内において扱える上限の人数を所定数ｋとしている。そして、回帰モデルでは、人毎に、胸部、正面下腹部、尻部、および顔部のそれぞれの存在確率の分布を表現するガウス分布に関する、上記ｘｙ座標成分の値、および分散パラメータの値を出力する。したがって、回帰モデルは、例として、「１２ｋ」個の出力値を有する。
【0042】
回帰モデルは、例として、教師あり学習によって学習された学習済みモデルである。
図５に、回帰モデルの訓練データを例示する。訓練データは、胸部、正面下腹部、尻部、および顔部のそれぞれの代表点の座標（ｘｉ，ｙｉ：ｉ＝１～４）と、分散パラメータの値が定義されたデータである。分散パラメータは、画像領域に占める人の大きさに応じて設定される。
図５に、回帰モデルの訓練データを例示する。訓練データは、胸部、正面下腹部、尻部、および顔部のそれぞれの代表点の座標（ｘｉ，ｙｉ：ｉ＝１～４）と、分散パラメータの値が定義されたデータである。分散パラメータは、画像領域に占める人の大きさに応じて設定される。
【0043】
なお、回帰モデルは、ニューラルネットワーク（以下、ＮＮと記載）を含むモデルであってよい。具体的には、畳み込みニューラルネットワーク（以下、ＣＮＮと記載）としてもよい。ただし、ＣＮＮに限らない。
【0044】
回帰モデルは、図１に示した記憶装置３４に記憶された位置情報写像データ３４ｂによって規定される。位置情報写像データ３４ｂは、パラメトリックモデルである回帰モデルの学習済みのパラメータの値を含むデータである。すなわち、回帰モデルがＣＮＮの場合、位置情報写像データ３４ｂは、畳み込み処理に用いる各フィルタの値を含む。また、回帰モデルが全結合レイヤ等を含む場合、位置情報写像データ３４ｂは、全結合レイヤの重みを示すパラメータの値を含む。なお、回帰モデルがＮＮの場合、位置情報写像データ３４ｂは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム３４ａに含めてもよい。なお、回帰モデルは、教師なし学習によって学習された学習済みモデルであってもよく、半教師あり学習によって学習された学習済みモデルであってもよい。
【0045】
図４に戻り、ＰＵ３２は、Ｓ１０の処理を完了する場合、回帰モデルの出力値に基づき、胸部、正面下腹部、尻部、および顔部のそれぞれに関するヒートマップを生成する（Ｓ３２）。それらヒートマップは、いずれも「ｗ×ｈ」個の領域を有する。ヒートマップは、「ｗ×ｈ」個の領域のそれぞれに、存在確率に応じた値が定められたマップである。たとえば胸部のヒートマップは、胸部に対応する２次元ガウス分布の平均値の座標（ｘ１，ｙ１）に対応する領域において、最も大きい値が定められている。そして、座標（ｘ１，ｙ１）に対応する領域から離れた領域ほど、小さい値が定められている。座標（ｘ１，ｙ１）に対応する領域からの距離と値との関係は、分散パラメータによって規定される。
【0046】
次にＰＵ３２は、フレームデータＦＤと、同フレームデータＦＤから生成されたヒートマップとを、識別モデル７０ａに入力することによって、フレームデータＦＤを評価する評価変数ｙｏｋ，ｙｎｇの値を算出する（Ｓ３４）。評価変数ｙｏｋは、フレームデータＦＤが、胸部、正面下腹部、および尻部の露出がない画像を示すデータである確率を示す変数である。また、評価変数ｙｎｇは、フレームデータＦＤが、胸部、正面下腹部、および尻部の少なくとも１つに露出がある画像を示すデータである確率を示す変数である。
【0047】
識別モデル７０ａは、例として、ＣＮＮを含む。識別モデル７０ａにおいて、Ｒ，Ｇ，Ｂの３つの「ｗ×ｈ」のデータと、胸部、正面下腹部、尻部、および顔部のそれぞれの「ｗ×ｈ」のヒートマップ６０～６６とは、１または複数のフィルタｆｌによって、畳み込まれる。フィルタｆｌは、「ａ×ｂ×７」個の数値よりなる。ただし、「ａ」は、「ｗ」より小さい自然数である。また、「ｂ」は、「ｈ」より小さい自然数である。この処理は、フレームデータＦＤを構成する各画素領域と、ヒートマップ６０～６６の対応する領域とが、互いに対応付けられて識別モデル７０ａに入力されることを意味する。
【0048】
識別モデル７０ａは、いくつかの畳み込みレイヤおよびプーリングレイヤ等を有する。なお、識別モデル７０ａのＣＮＮは、残差ブロックを有してもよい。識別モデル７０ａは、下流の全結合レイヤＭ１０において、特徴マップが結合されることによって２つの出力値が出力される。そして、出力活性化関数としての２出力のソフトマックス関数Ｍ１２によって、評価変数ｙｏｋ，ｙｎｇの値が算出される。
【0049】
識別モデル７０ａは、例として、教師あり学習によって学習がなされた学習済みモデルである。識別モデル７０ａは、次の訓練データを用いて訓練されたモデルである。すなわち、胸部、正面下腹部、および尻部の露出がない画像を示す画像データと、胸部、正面下腹部、および尻部の少なくとも１つに露出がある画像を示す画像データとである。学習によって、識別モデル７０ａを規定するフィルタの数値および全結合レイヤＭ１０の重みパラメータ等が学習される。なお、識別モデル７０ａは、教師なし学習によって学習された学習済みモデルであってもよく、半教師あり学習によって学習された学習済みモデルであってもよい。
【0050】
学習がなされたフィルタの数値および全結合レイヤＭ１０の重みパラメータ等は、図１に示した記憶装置３４に記憶される評価写像データ３４ｃに含まれる。評価写像データ３４ｃは、フィルタの数値および全結合レイヤＭ１０の重みパラメータ等を含むことによって、識別モデル７０ａを規定する。なお、評価写像データ３４ｃは、ＣＮＮの活性化関数を規定するデータを含んでもよい。ただし、ＣＮＮの活性化関数を規定するデータは、画像評価プログラム３４ａに含めてもよい。
【0051】
ＰＵ３２は、Ｓ３４の処理を完了する場合、評価変数ｙｏｋの値が評価変数ｙｎｇの値よりも大きいか否かを判定する（Ｓ３６）。この処理は、評価変数ｙｏｋ，ｙｎｇの値に基づき、フレームデータＦＤが胸部、正面下腹部、および尻部の露出がない画像を示すか否かを判定する処理である。
【0052】
ＰＵ３２は、評価変数ｙｏｋの値が評価変数ｙｎｇの値よりも大きいと判定する場合（Ｓ３６：ＹＥＳ）、胸部、正面下腹部、および尻部の露出がない旨評価する（Ｓ３８）。以下では、この評価を、ＯＫ判定と称する。一方、ＰＵ３２は、評価変数ｙｏｋの値が評価変数ｙｎｇの値以下であると判定する場合（Ｓ３６：ＮＯ）、胸部、正面下腹部、および尻部の少なくとも１つに露出がある旨評価する（Ｓ４０）。以下では、この評価を、ＮＧ判定と称する。
【0053】
なお、ＰＵ３２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）に関してＳ３８，Ｓ４０の処理を完了する場合、図３のＳ１６の処理を完了する。
そしてＰＵ７２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの２つ以上についてＯＫ判定がなされたか否かを判定する（Ｓ１８）。そして、ＰＵ３２は、ＯＫ判定が１つ以下であると判定する場合（Ｓ１８：ＮＯ）、Ｓ１０の処理によって取得したＣＭ動画データの配信を禁止する（Ｓ２０）。Ｓ１８の処理において否定判定されることは、ＣＭ動画データに、胸部、正面下腹部、および尻部の少なくとも１つに露出がある旨の最終的な判定がなされたことを意味する。
そしてＰＵ７２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの２つ以上についてＯＫ判定がなされたか否かを判定する（Ｓ１８）。そして、ＰＵ３２は、ＯＫ判定が１つ以下であると判定する場合（Ｓ１８：ＮＯ）、Ｓ１０の処理によって取得したＣＭ動画データの配信を禁止する（Ｓ２０）。Ｓ１８の処理において否定判定されることは、ＣＭ動画データに、胸部、正面下腹部、および尻部の少なくとも１つに露出がある旨の最終的な判定がなされたことを意味する。
【0054】
一方、ＰＵ３２は、ＯＫ判定が２つ以上であると判定する場合（Ｓ１８：ＹＥＳ）、変数ｉに「Ｎ」を加算する（Ｓ２２）。そしてＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在するか否かを判定する（Ｓ２４）。この処理は、ＣＭ動画データの全てについてＳ１６の処理を完了したか否かを判定する処理である。ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在すると判定する場合（Ｓ２４：ＹＥＳ）、Ｓ１４の処理に戻る。一方、ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在しないと判定する場合（Ｓ２４：ＮＯ）、ＣＭ動画データを配信可能とする（Ｓ２６）。すなわち、ＰＵ３２は、ユーザ端末５０からのリクエストに応じてＣＭ動画データを配信する。
【0055】
なお、ＰＵ３２は、Ｓ２０，Ｓ２６の処理を完了する場合、図３に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
ここで、本実施形態の作用および効果について説明する。
【0056】
ＰＵ３２は、フレームデータＦＤを識別モデル７０ａに入力することによって、評価変数ｙｏｋ，ｙｎｇの値を算出する。そして、ＰＵ３２は、評価変数ｙｏｋ，ｙｎｇの値に応じてフレームデータＦＤを評価する。この処理は、フレームデータＦＤを入力としてＯＫ判定またはＮＧ判定である、フレームデータＦＤの評価結果を出力する評価写像を利用する処理である。
【0057】
上記識別モデル７０ａは、学習済みモデルである。特に、識別モデル７０ａは、例として、中間層の層数が多いディープニューラルネットワーク（以下、ＤＮＮと記載）である。ＤＮＮは、特徴量を自動で抽出する。そのため、上記評価写像を、ＤＮＮを用いて構成する場合、その入力をフレームデータＦＤのみとすることが簡素である。しかし、その場合、ＤＮＮが胸部、正面下腹部、および尻部に着目して評価結果を出力するとは限らない。
【0058】
そこで、本実施形態では、識別モデル７０ａを、フレームデータＦＤに加えて胸部、正面下腹部、および尻部のそれぞれの存在確率を示すヒートマップ６０～６４を入力とするモデルとした。換言すれば、評価写像の入力に、胸部、正面下腹部、および尻部のそれぞれの存在確率を示すヒートマップ６０～６４を加えた。これにより、ヒートマップ６０～６４を加えない場合と比較して、識別モデル７０ａにおいて抽出された特徴量を示す特徴量マップが胸部、正面下腹部、および尻部のそれぞれの特徴を表現する可能性が高まる。そのため、評価変数ｙｏｋ，ｙｎｇの値を、胸部、正面下腹部、および尻部の少なくとも１つが露出しているか否かをより高精度に表現した値とすることができる。
【0059】
なお、フレームデータＦＤが示す領域のうちのヒートマップ６０～６４によって示される胸部、正面下腹部、および尻部の存在確率が低い領域を一律、マスキングして評価写像に入力することも考えられる。しかし、その場合、胸部、正面下腹部、および尻部以外の露出部分に示される肌の色に関する情報、および人の挙動に関する情報等が省かれることとなる。しかし、それらの情報は、胸部、正面下腹部、および尻部の少なくとも１つが露出しているか否かを評価するうえで有益な情報となりうる。
【0060】
したがって、上記識別モデル７０ａによれば、画像中の胸部、正面下腹部、および尻部に着目する可能性を高めつつ、胸部、正面下腹部、および尻部以外の情報をも加味して評価変数ｙｏｋ，ｙｎｇの値を高精度に算出できる。
【0061】
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１－１）識別モデル７０ａの入力に、顔部の存在確率を示すヒートマップ６６を含めた。身体のうち顔部は露出している可能性が最も高い。そのため、顔部に着目することにより、その人の肌の色に着目する可能性を高めることができる。したがって、評価変数ｙｏｋ，ｙｎｇの値を、胸部、正面下腹部、および尻部の少なくとも１つが露出しているか否かをより高精度に評価した値とすることができる。
（１－１）識別モデル７０ａの入力に、顔部の存在確率を示すヒートマップ６６を含めた。身体のうち顔部は露出している可能性が最も高い。そのため、顔部に着目することにより、その人の肌の色に着目する可能性を高めることができる。したがって、評価変数ｙｏｋ，ｙｎｇの値を、胸部、正面下腹部、および尻部の少なくとも１つが露出しているか否かをより高精度に評価した値とすることができる。
【0062】
（１－２）時系列的にＮ個周期で隣接する３つのフレームデータＦＤのうちの２つ以上でＯＫ判定される場合に、２Ｎ＋１個のフレームデータの区間に問題がないとした。これにより、１つのフレームデータＦＤに関して誤判定された場合であっても、誤判定の影響を抑制できる。
【0063】
＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0064】
図６に、本実施形態にかかる画像評価装置３０によって実行される、上記基準に沿った評価に基づいてＣＭ動画データがユーザ端末５０によって選択的に表示されることを支援する処理の手順を示す。図６に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図６において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。
【0065】
図６に示すように、ＰＵ３２は、Ｓ１８の処理において否定判定する場合（Ｓ１８：ＮＯ）、ＣＭ動画データに制限指令を付与する（Ｓ２０ａ）。そして、ＰＵ３２は、Ｓ２６の処理に移行する。
【0066】
制限指令は、次の何れかの指令である。
・ユーザ端末５０においてＣＭ動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース５８が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース５８が備えるスピーカから音声情報を出力する処理としてもよい。
・ユーザ端末５０においてＣＭ動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース５８が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース５８が備えるスピーカから音声情報を出力する処理としてもよい。
【0067】
・ユーザ端末５０においてＣＭ動画データが再生される場合、所定部位が露出しているシーンが再生されるときに再生画像にマスクをする指令である。マスクをする指令は、たとえば、再生画像に対して所定画像を重畳することでマスクをする指令であってもよい。また、たとえば、マスクをする指令は、再生画像に対してぼかし等のエフェクトを適用することでマスクをする指令であってもよい。またたとえば、マスクをする指令は、露出している所定部位の領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってもよい。またたとえば、露出している所定部位の領域を少なくとも含む再生画像の一部に対してばかし等のエフェクトを適用することでマスクをする指令であってもよい。
【0068】
・ユーザ端末５０に対してなされる、ＣＭ動画データを再生してはいけない旨の指令である。これは、たとえばアプリケーションプログラム５４ａが、同指令を検知する場合、ＣＭ動画データの再生をしない設定とすることで実現できる。
【0069】
＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0070】
本実施形態では、識別モデル７０ａに代えて、識別モデル７０ｂを用いる。
図７に、フレーム評価処理の詳細を示す。図７に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図７において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図７に、フレーム評価処理の詳細を示す。図７に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図７において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
【0071】
図７に示す一連の処理において、ＰＵ７２は、ヒートマップ６０～６６を生成すると（Ｓ３２）、それらヒートマップ６０～６６を縮小する（Ｓ４２）。すなわち、Ｓ３２の処理において生成された「ｗ×ｈ」の領域数のヒートマップを「ｗ１×ｈ１」の領域数を有したヒートマップに縮小する。ここで、「ｗ１＜ｗ，ｈ１＜ｈ」である。この処理は、たとえば、「ｗ×ｈ」の領域数のヒートマップを「１／４」のヒートマップに縮小する場合、次のようにすればよい。すなわち、「ｗ×ｈ」の領域数のヒートマップの「４×４」の領域の平均値を、「ｗ１×ｈ１」の領域数を有したヒートマップの１つの領域の値とすればよい。
【0072】
次に、ＰＵ３２は、縮小されたヒートマップから、「ｗ１×ｈ１」の領域数の係数行列ＭＫを算出する（Ｓ４４）。係数行列ＭＫは、「ｗ１×ｈ１」個の領域のそれぞれに関する係数Ｋの値を定義する。係数Ｋの値は、縮小されたヒートマップにおける領域の値が閾値以上の場合に「１」よりも大きい値となる。係数Ｋの値は、縮小されたヒートマップにおける領域の値が閾値未満の場合に「１」となる。ここで、閾値は、「０」よりも大きく「１」未満の値である。Ｓ４４の処理において生成される係数行列ＭＫは、ヒートマップ６０～６６に対応した４個である。たとえば、ヒートマップ６０に対応した係数行列ＭＫは、その成分の値が「１」よりも大きい場合、その領域に胸部が存在する確率が大きいことを意味する。また、たとえば、ヒートマップ６０に対応した係数行列ＭＫは、その成分の値が「１」の場合、その領域に胸部が存在する確率が小さいことを意味する。
【0073】
次に、ＰＵ７２は、識別モデル７０ｂに、フレームデータＦＤおよび係数行列ＭＫを入力することによって、評価変数ｙｏｋ，ｙｎｇの値を算出する（Ｓ３４ａ）。
識別モデル７０ｂは、フレームデータＦＤおよび係数行列ＭＫを入力とし、評価変数ｙｏｋ，ｙｎｇの値を出力する。ただし、識別モデル７０ｂは、係数行列ＭＫを最上流から入力するモデルではない。
識別モデル７０ｂは、フレームデータＦＤおよび係数行列ＭＫを入力とし、評価変数ｙｏｋ，ｙｎｇの値を出力する。ただし、識別モデル７０ｂは、係数行列ＭＫを最上流から入力するモデルではない。
【0074】
識別モデル７０ｂは、特徴抽出器Ｍ２０を備える。特徴抽出器Ｍ２０は、フレームデータＦＤを入力として、フレームデータＦＤの特徴量を抽出する。特徴抽出器Ｍ２０は、ＣＮＮを含む。この特徴量は、「ｈ１×ｗ１」の特徴マップ８０である。特徴マップ８０は、複数存在する。識別モデル７０ａは、積算処理Ｍ２２を有する。積算処理Ｍ２２は、４個の係数行列ＭＫのそれぞれについて、特徴マップ８０のいくつかとのアダマール積を算出する処理である。ここで、１つの特徴マップ８０とアダマール積が算出される係数行列ＭＫは、４個の係数行列ＭＫのうちのいずれか１つであってよい。また、特徴抽出器Ｍ２０が出力する特徴マップ８０の中には、係数行列ＭＫとのアダマール積の算出対象とされないものもある。
【0075】
具体的には、たとえば、「ｎ」を自然数として、特徴マップ８０の数が「５ｎ」個の場合、ヒートマップ６０～６６のそれぞれに対応する係数行列ＭＫとの積算対象となる特徴マップ８０を、「ｎ」個ずつとしてもよい。その場合、いずれの係数行列ＭＫとの積算対象ともならない特徴マップ８０が「ｎ」個存在する。
【0076】
識別モデル７０ｂは、識別ユニットＭ２４を有する。識別ユニットＭ２４には、積算処理Ｍ２２が施された特徴マップが入力される。識別ユニットＭ２４は、たとえば出力活性化関数がソフトマックス関数であるＣＮＮであってもよい。
【0077】
なお、識別モデル７０ｂは、教師あり学習によって学習された学習済みモデルである。ここでの訓練データは、識別モデル７０ａによるものと同様である。本実施形態において、評価写像データ３４ｃは、識別モデル７０ａの学習によって得られたパラメータを含む。ちなみに、特徴抽出器Ｍ２０を規定するパラメータについては、胸部、正面下腹部、および尻部の少なくとも１つに露出があるか否かに応じた画像を示す画像データを用いた学習によって得られたものでなくてもよい。すなわち、既存の画像認識処理によって得られた特徴抽出器を転移学習によって利用してもよい。
【0078】
以上説明した本実施形態によれば、以下の作用および効果が得られる。
（３－１）複数個の特徴マップ８０に、４個の係数行列ＭＫのうちのいずれか１つと選択的に合成されるマップを含めた。これにより、合成後の特徴マップは、胸部、正面下腹部、尻部、および顔部のうちの対応する部分の値が増幅されるマップとなることから、対応する部分の特徴を抽出するマップとなりやすい。
（３－１）複数個の特徴マップ８０に、４個の係数行列ＭＫのうちのいずれか１つと選択的に合成されるマップを含めた。これにより、合成後の特徴マップは、胸部、正面下腹部、尻部、および顔部のうちの対応する部分の値が増幅されるマップとなることから、対応する部分の特徴を抽出するマップとなりやすい。
【0079】
（３－２）複数個の特徴マップ８０に、４個の係数行列ＭＫのうちのいずれによっても補正されない特徴マップを含めた。これにより、胸部、正面下腹部、尻部、および顔部に特化しないものの胸部、正面下腹部、および尻部の少なくとも１つが露出しているか否かを判定するうえで有効な特徴を抽出するマップを生成させやすい。
【0080】
＜第４の実施形態＞
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0081】
本実施形態では、識別モデル７０ａに代えて、識別モデル７０ｃを用いる。
図８に、フレーム評価処理の詳細を示す。図８に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図８において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図８に、フレーム評価処理の詳細を示す。図８に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図８において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
【0082】
図８に示す一連の処理において、ＰＵ３２は、まず識別モデル７０ｃにフレームデータＦＤを入力することによって、評価変数ｙｏｋ，ｙｎｇの値を算出する（Ｓ３４ｂ）。識別モデル７０ｃは、フレームデータＦＤを入力することによって、評価変数ｙｏｋ，ｙｎｇの値を出力するモデルである。識別モデル７０ｃは、特徴抽出器Ｍ３０を含む。特徴抽出器Ｍ３０は、Ｒ，Ｇ，Ｂのそれぞれについて「ｗ×ｈ」からなる画像データを入力として、「ｗ２×ｈ２」の特徴マップ８２を出力する。ここで、「ｗ２＜ｗ，ｈ２＜ｈ」である。特徴抽出器Ｍ３０は、ＣＮＮを含む。特徴抽出器Ｍ３０が一度に出力する特徴マップ８２の数は、Ｊ個である。ただし、「Ｊ＞２」である。
【0083】
識別モデル７０ｃは、全結合レイヤＭ３２を含む。全結合レイヤＭ３２は、Ｊ個の特徴マップ８２の「ｗ２×ｈ２×Ｊ」個の数値を結合して２つの出力値を出力する。それら２つの出力値は、ソフトマックス関数Ｍ３４に入力される。ソフトマックス関数Ｍ３４は、評価変数ｙｏｋ，ｙｎｇの値を出力する。
【0084】
識別モデル７０ｃは、例として、教師あり学習によって学習された学習済みモデルである。識別モデル７０ｃの訓練データは、識別モデル７０ａの訓練データと同様である。なお、識別モデル７０ｃは、教師なし学習によって学習された学習済みモデルであってもよく、半教師あり学習によって学習された学習済みモデルであってもよい。
【0085】
そして、ＰＵ３２は、評価変数ｙｏｋが評価変数ｙｎｇよりも大きいと判定する場合（Ｓ３６：ＹＥＳ）、最終評価処理を実行する（Ｓ５０）。
図９に、最終評価処理の詳細を示す。
図９に、最終評価処理の詳細を示す。
【0086】
図９に示す一連の処理において、ＰＵ３２は、評価変数ｙｏｋが大きいときに識別モデル７０ｃが着目した領域を示すアクティベーションマップを生成する（Ｓ６０）。ここで、上記Ｊ個の特徴マップを、ｆ１（ｘ，ｙ），ｆ２（ｘ，ｙ），…，ｆＪ（ｘ，ｙ）と記載する。そして、全結合レイヤＭ３２のパラメータのうち、評価変数ｙｏｋに対応するものを、ｗｏｋ１，ｗｏｋ２，…，ｗｏｋＪとする。ただし、「１≦ｘ≦ｗ２，１≦ｙ≦ｈ２」である。
【0087】
その場合、各座標（ｘ，ｙ）が、評価変数ｙｏｋが大きいことに寄与した度合いは、
ｗｏｋ１・ｆ１（ｘ，ｙ）＋ｗｏｋ２・ｆ２（ｘ，ｙ）＋…＋ｗｏｋＪ・ｆＪ（ｘ，ｙ）
である。
ｗｏｋ１・ｆ１（ｘ，ｙ）＋ｗｏｋ２・ｆ２（ｘ，ｙ）＋…＋ｗｏｋＪ・ｆＪ（ｘ，ｙ）
である。
【0088】
ＰＵ３２は、「ｗ２×ｈ２」の各座標（ｘ，ｙ）について、上記値を算出することによって、アクティベーションマップを生成する。
次にＰＵ３２は、アクティベーションマップを２値化した２値化マップＭＡＣＴを生成する（Ｓ６２）。ここで、ＰＵ３２は、まず、アクティベーションマップが示す「ｗ２×ｈ２」個の値のそれぞれをロジスティックシグモイド関数に代入することによって、「ｗ２×ｈ２」個の値を「０」以上「１」以下の値とする。そして、ＰＵ３２は、ロジスティックシグモイド関数の出力値が所定値よりも大きい場合に「１」として且つ、所定値以下の場合に「－１」とする。ここで、所定値は、「０」よりも大きく「１」よりも小さい値に設定される。なお、所定値は、「１／２」以上であってもよい。
次にＰＵ３２は、アクティベーションマップを２値化した２値化マップＭＡＣＴを生成する（Ｓ６２）。ここで、ＰＵ３２は、まず、アクティベーションマップが示す「ｗ２×ｈ２」個の値のそれぞれをロジスティックシグモイド関数に代入することによって、「ｗ２×ｈ２」個の値を「０」以上「１」以下の値とする。そして、ＰＵ３２は、ロジスティックシグモイド関数の出力値が所定値よりも大きい場合に「１」として且つ、所定値以下の場合に「－１」とする。ここで、所定値は、「０」よりも大きく「１」よりも小さい値に設定される。なお、所定値は、「１／２」以上であってもよい。
【0089】
２値化マップＭＡＣＴは、フレームデータＦＤが示す領域を縮小した「ｗ２×ｈ２」の領域において、ＯＫ判定に大きく寄与した領域に「１」が付与されたマップである。また、２値化マップＭＡＣＴは、フレームデータＦＤが示す領域を縮小した「ｗ２×ｈ２」の領域において、ＯＫ判定にあまり寄与していない領域に「－１」が付与されたマップである。
【0090】
次にＰＵ３２は、フレームデータＦＤを回帰モデルに入力する（Ｓ６４）。回帰モデルは、顔部の２次元ガウス分布等の２次元分布を定義する出力がないことを除いて、Ｓ３０の処理によって用いたものと同じである。次にＰＵ３２は、ヒートマップ６０～６４を生成する（Ｓ６６）。次に、ＰＵ３２は、３個のヒートマップ６０～６４のそれぞれを、「ｗ２×ｈ２」に縮小する（Ｓ６８）。この処理は、Ｓ４２の処理と同様である。次に、ＰＵ３２は、縮小された３個のヒートマップから、１つの２値化マップＭｂｏｄｙを生成する（Ｓ７０）。Ｓ７０の処理において、ＰＵ３２は、まず、３個のヒートマップのそれぞれの成分の値と閾値との大小を比較することによって３個の暫定マップを生成する。すなわち、ＰＵ３２は、ヒートマップの成分の値が閾値よりも大きい場合には、暫定マップの対応する成分の値を「１」とする。また、ＰＵ３２は、ヒートマップの成分の値が閾値以下の場合には、暫定マップの対応する成分の値を「－１」とする。そして、ＰＵ３２は、３個の暫定マップの成分のそれぞれについて、３個の値の全てが「－１」の場合には、２値化マップＭｂｏｄｙの対応する値を「－１」とする。また、ＰＵ３２は、３個の暫定マップの成分のそれぞれについて、３個の値の少なくとも１つが「１」の場合には、２値化マップＭｂｏｄｙの対応する値を「１」とする。
【0091】
２値化マップＭｂｏｄｙは、フレームデータＦＤが示す領域を縮小した「ｗ２×ｈ２」の領域において、胸部、正面下腹部、および尻部のいずれかの存在確率が大きい領域に「１」が付されたマップである。また、２値化マップＭｂｏｄｙは、フレームデータＦＤが示す領域を縮小した「ｗ２×ｈ２」の領域において、胸部、正面下腹部、および尻部の全ての存在確率が小さい領域に「－１」が付されたマップである。
【0092】
そしてＰＵ３２は、２値化マップＭＡＣＴと２値化マップＭｂｏｄｙとのアダマール積を算出することによって、注視マップＭＡＴＴを生成する（Ｓ７２）。注視マップＭＡＴＴは、評価変数ｙｏｋが大きいことに寄与した領域であって且つ胸部、正面下腹部、および尻部の存在確率が大きい領域を「１」とするマップである。また、注視マップＭＡＴＴは、評価変数ｙｏｋが大きいことにあまり寄与していない領域であって且つ胸部、正面下腹部、および尻部の存在確率が小さい領域を「１」とするマップである。また、注視マップＭＡＴＴは、評価変数ｙｏｋが大きいことに寄与した領域であって且つ胸部、正面下腹部、および尻部の存在確率が小さい領域を「－１」とするマップである。また、注視マップＭＡＴＴは、評価変数ｙｏｋが大きいことにあまり寄与していない領域であって且つ胸部、正面下腹部、および尻部の存在確率が大きい領域を「－１」とするマップである。
【0093】
次にＰＵ３２は、注視マップＭＡＴＴの各成分の平均値を示す指標値（図中、ＧＡＰ（ＭＡＴＴ）と記載）が判定値ｇｔｈ以上であるか否かを判定する（Ｓ７４）。ここで、指標値を単純平均値とする場合には、指標値は、「－１」以上であって且つ「１」以下の値である。指標値が大きいほど、胸部、正面下腹部、および尻部の存在確率が大きい領域に着目してＯＫ判定がなされたことを意味する。なお、指標値を単純平均値とすることは必須ではない。たとえば、周囲が「－１」となる領域に囲まれた１つの領域のみ「１」となる領域については、その値を「－１」に書き替えた平均値とするなどのフィルタ処理を施してもよい。
【0094】
ＰＵ３２は、指標値が閾値ｇｔｈ以上であると判定する場合（Ｓ７４：ＹＥＳ）、ＯＫ判定をする（Ｓ３８）。
一方、ＰＵ３２は、指標値が閾値ｇｔｈ未満であると判定する場合（Ｓ７４：ＮＯ）、ＮＧ判定をする（Ｓ７６）。そして、ＰＵ７２は、その時のフレームデータＦＤを記憶装置３４に保存する（Ｓ７８）。そしてＰＵ３２は、図１に示すユーザインターフェース４０を操作することによって、評価変数ｙｏｋの値が大きいことの妥当性が低い旨を、人に通知する（Ｓ８０）。ここでは、たとえば、ユーザインターフェース４０に表示装置を備えることによって、妥当性が低い旨の視覚情報を表示してもよい。
一方、ＰＵ３２は、指標値が閾値ｇｔｈ未満であると判定する場合（Ｓ７４：ＮＯ）、ＮＧ判定をする（Ｓ７６）。そして、ＰＵ７２は、その時のフレームデータＦＤを記憶装置３４に保存する（Ｓ７８）。そしてＰＵ３２は、図１に示すユーザインターフェース４０を操作することによって、評価変数ｙｏｋの値が大きいことの妥当性が低い旨を、人に通知する（Ｓ８０）。ここでは、たとえば、ユーザインターフェース４０に表示装置を備えることによって、妥当性が低い旨の視覚情報を表示してもよい。
【0095】
なお、ＰＵ３２は、Ｓ３８，Ｓ８０の処理がなされる場合、図８に示すＳ５０の処理を一旦完了する。
このように、本実施形態では、ＰＵ３２は、フレームデータＦＤのみから評価変数ｙｏｋ，ｙｎｇの値を算出する。ただし、ＰＵ３２は、評価変数ｙｏｋの値が大きい場合、直ちにはＯＫ判定とせずに、画像のどこに着目して評価変数ｙｏｋを大きい値に算出したかを分析する。そしてＰＵ３２は、画像のうちの胸部、正面下腹部、および尻部に着目して評価変数ｙｏｋを大きい値に算出した場合に、ＯＫ判定をする。これにより、誤ってＯＫ
判定がなされることを抑制できる。
このように、本実施形態では、ＰＵ３２は、フレームデータＦＤのみから評価変数ｙｏｋ，ｙｎｇの値を算出する。ただし、ＰＵ３２は、評価変数ｙｏｋの値が大きい場合、直ちにはＯＫ判定とせずに、画像のどこに着目して評価変数ｙｏｋを大きい値に算出したかを分析する。そしてＰＵ３２は、画像のうちの胸部、正面下腹部、および尻部に着目して評価変数ｙｏｋを大きい値に算出した場合に、ＯＫ判定をする。これにより、誤ってＯＫ
判定がなされることを抑制できる。
【0096】
以上説明した本実施形態によれば、さらに以下の作用および効果が得られる。
（４－１）ＰＵ３２は、評価変数ｙｏｋの値が大きいことの妥当性が低いと判定する場合、その時のフレームデータＦＤを保存して且つ、人に通知した。これにより、人が最終的な判断をすることができる。そのため、胸部、正面下腹部、および尻部のいずれも露出していない場合には、ＮＧ判定を取り消して、ＣＭ動画データを配信できる。また、胸部、正面下腹部、および尻部のいずれも露出していない場合には、保存したフレームデータＦＤを用いて識別モデル７０ｃを再学習させることができる。
（４－１）ＰＵ３２は、評価変数ｙｏｋの値が大きいことの妥当性が低いと判定する場合、その時のフレームデータＦＤを保存して且つ、人に通知した。これにより、人が最終的な判断をすることができる。そのため、胸部、正面下腹部、および尻部のいずれも露出していない場合には、ＮＧ判定を取り消して、ＣＭ動画データを配信できる。また、胸部、正面下腹部、および尻部のいずれも露出していない場合には、保存したフレームデータＦＤを用いて識別モデル７０ｃを再学習させることができる。
【0097】
＜第５の実施形態＞
以下、第５の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第５の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【0098】
本実施形態では、識別モデル７０ａに代えて、識別モデル７０ｄを用いる。識別モデル７０ｄは、次の３つの状態を識別する。
状態１：胸部、正面下腹部、および尻部のいずれも露出していない状態である。
状態１：胸部、正面下腹部、および尻部のいずれも露出していない状態である。
【0099】
状態２：胸部のうちの図２に示す部分「３」の一部、正面下腹部のうちの図２に示す部分「１０」の一部、および尻部のうちの図２に示す部分「１４」の一部の少なくとも１つに限って露出している状態である。状態２は、たとえば胸部、正面下腹部、および尻部に衣類をまとっているが、その衣類がある程度露出度が大きい衣類である状態である。また、状態２は、たとえば胸部、正面下腹部、および尻部に衣類をまとっているが、その衣類がある程度透けている衣類である状態である。
【0100】
状態３：胸部、正面下腹部、および尻部の少なくとも１つについて、状態２以上に顕著に露出している状態である。
図１０に、フレーム評価処理の詳細を示す。図１０に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図１０において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図１０に、フレーム評価処理の詳細を示す。図１０に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図１０において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
【0101】
図１０に示す一連の処理において、ＰＵ３２は、まずフレームデータＦＤをセマンティックセグメンテーションモデルに入力する（Ｓ３０ａ）。セマンティックセグメンテーションモデルは、フレームデータＦＤが示す「ｗ×ｈ」個の画素毎に、ラベル変数の値を出力するモデルである。ここで、ラベル変数は、少なくとも図２の「３～５，１０～１４，１８」の各部分同士と、それ以外とを識別する値である。したがって、ラベル変数は、１０個以上の異なる値を取り得る。
【0102】
セマンティックセグメンテーションモデルは、識別モデルである。セマンティックセグメンテーションモデルは、教師あり学習によって学習された学習済みモデルである。セマンティックセグメンテーションモデルは、様々な画像データについて、予め上記各部分の画素にラベル変数の値を付与したデータを訓練データとして学習がなされたデータである。本実施形態にかかる位置情報写像データ３４ｂには、セマンティックセグメンテーションモデルを規定するパラメータが含まれている。すなわち、たとえば、セマンティックセグメンテーションモデルがＣＮＮを含む場合、位置情報写像データ３４ｂには、フィルタの各値、および全結合レイヤの重みパラメータ等が含まれる。
【0103】
次に、ＰＵ３２は、セマンティックセグメンテーションモデルが出力する各画素のラベル変数の値を用いて、身体情報マップを生成する（Ｓ３２ａ）。身体情報マップは、次の６個からなる。
【0104】
（ｂｍ１）胸部のうちの図２に示す部分「３」が位置する部分とそれ以外とを識別するマップである。これは、たとえば、胸部のうちの図２に示す部分「３」が位置する部分を「１」として且つ、それ以外の部分を「０」とすることによって実現できる。
【0105】
【0106】
（ｂｍ４）胸部のうちの図２に示す部分「３」以外の部分とそれ以外とを識別するマップである。
（ｂｍ５）正面下腹部のうちの図２に示す部分「１０」以外の部分が位置する部分とそれ以外とを識別するマップである。
（ｂｍ５）正面下腹部のうちの図２に示す部分「１０」以外の部分が位置する部分とそれ以外とを識別するマップである。
【0107】
（ｂｍ６）尻部のうちの図２に示す部分「１４」以外の部分が位置する部分とそれ以外とを識別するマップである。
上記（ｂｍ１）～（ｂｍ３）は、上記状態２において特に着目すべき部分の位置を示すマップデータである。一方、上記（ｂｍ４）～（ｂｍ６）は、上記状態３において特に着目すべき部分の位置を示すマップデータである。
上記（ｂｍ１）～（ｂｍ３）は、上記状態２において特に着目すべき部分の位置を示すマップデータである。一方、上記（ｂｍ４）～（ｂｍ６）は、上記状態３において特に着目すべき部分の位置を示すマップデータである。
【0108】
Ｓ３０ａ，Ｓ３２ａの処理によって、フレームデータから６個の身体情報マップを出力する位置情報写像は、上記セマンティックセグメンテーションモデルに応じて規定される写像である。
【0109】
次にＰＵ３２は、上記６個の身体情報マップ８４と、フレームデータＦＤとを、識別モデル７０ｄに入力することによって、評価変数ｙｏｋ１，ｙｏｋ２，ｙｎｇの値を算出する（Ｓ３４ｃ）。識別モデル７０ｄは、ＣＮＮを含む。識別モデル７０ｄに入力された６個の身体情報マップ８４と、フレームデータＦＤとは、「ａ２×ｂ２×９」の次元を有する複数個のフィルタｆｌによって畳み込み処理がなされる。ここで、「ａ２」は、「ｗ」より小さい自然数である。また、「ｂ２」は、「ｈ」よりも小さい自然数である。畳み込みレイヤの数は任意である。また、ＣＮＮは、プーリングレイヤを含んでもよい。また、ＣＮＮは、残差ブロックを含んでもよい。そして、ＣＮＮが出力する特徴マップは、全結合レイヤＭ４０において結合される。全結合レイヤＭ４０の出力は３個である。そして、それらは出力活性化関数であるソフトマックス関数Ｍ４２に入力される。ソフトマックス関数Ｍ４２は、３個の評価変数ｙｏｋ１，ｙｏｋ２，ｙｎｇの値を出力する。
【0110】
識別モデル７０ｄは、例として、教師あり学習によって学習された学習済みモデルである。識別モデル７０ｄの学習における訓練データは、上記状態１，状態２，状態３のそれぞれの画像データである。状態１の画像データに対しては、評価変数ｙｏｋ１の目標変数の値を「１」とし、それ以外の目標変数の値を「０」とする。また、状態２の画像データに対しては、評価変数ｙｏｋ２の目標変数の値を「１」とし、それ以外の目標変数の値を「０」とする。また、状態３の画像データに対しては、評価変数ｙｎｇの目標変数の値を「１」とし、それ以外の目標変数の値を「０」とする。
【0111】
識別モデル７０ｄの学習によって求められた各パラメータは、評価写像データ３４ｃに含まれる。
ＰＵ３２は、評価変数ｙｏｋ１，ｙｏｋ２，ｙｎｇの値のうちの最大値ｙｍａｘが評価変数ｙｏｋ１の値であるか否かを判定する（Ｓ３６ａ）。ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ１の値であると判定する場合（Ｓ３６ａ：ＹＥＳ）、状態１であると判定する（Ｓ３８ａ）。以下、これをＯＫ１判定と称する。一方、ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ１の値ではないと判定する場合（Ｓ３６ａ：ＮＯ）、最大値ｙｍａｘが評価変数ｙｏｋ２の値であるか否かを判定する（Ｓ３６ｂ）。ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ２の値であると判定する場合（Ｓ３６ｂ：ＹＥＳ）、状態２であると判定する（Ｓ３８ｂ）。以下、これをＯＫ２判定と称する。一方、ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ２の値ではないと判定する場合（Ｓ３６ｂ：ＮＯ）、ＮＧ判定をする（Ｓ４０）。
ＰＵ３２は、評価変数ｙｏｋ１，ｙｏｋ２，ｙｎｇの値のうちの最大値ｙｍａｘが評価変数ｙｏｋ１の値であるか否かを判定する（Ｓ３６ａ）。ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ１の値であると判定する場合（Ｓ３６ａ：ＹＥＳ）、状態１であると判定する（Ｓ３８ａ）。以下、これをＯＫ１判定と称する。一方、ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ１の値ではないと判定する場合（Ｓ３６ａ：ＮＯ）、最大値ｙｍａｘが評価変数ｙｏｋ２の値であるか否かを判定する（Ｓ３６ｂ）。ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ２の値であると判定する場合（Ｓ３６ｂ：ＹＥＳ）、状態２であると判定する（Ｓ３８ｂ）。以下、これをＯＫ２判定と称する。一方、ＰＵ３２は、最大値ｙｍａｘが評価変数ｙｏｋ２の値ではないと判定する場合（Ｓ３６ｂ：ＮＯ）、ＮＧ判定をする（Ｓ４０）。
【0112】
図１１に、ユーザ端末５０において、ユーザが望む基準を満たす画像を表示することを支援する処理の手順を示す。図１１に示す処理は、２つの処理よりなる。１つは、ユーザ端末５０の記憶装置５４に記憶されたアプリケーションプログラム５４ａをＰＵ５２が所定周期でくり返し実行することにより実現される処理である。もう１つは、画像評価装置３０の記憶装置３４に記憶された画像評価プログラム３４ａをＰＵ３２が所定周期でくり返し実行することにより実現される処理である。
【0113】
図１１に示すように、ユーザ端末５０のＰＵ５２は、ユーザから再生を許容するＣＭ動画の基準についての要求を受け付ける（Ｓ９０）。ここで、ＰＵ５２は、ユーザインターフェース５８が備える表示装置に、状態１のみを許容するか、状態１および状態２を許容するかを選択可能である旨を表示する。Ｓ９０の処理は、ユーザによるユーザインターフェース５８への要求入力を受け付ける処理である。Ｓ９０の処理を完了する場合、ＰＵ５２は、通信機５６を操作することによって、ユーザの識別記号であるユーザＩＤと、要求された基準と、を送信する（Ｓ９２）。
【0114】
これに対し、画像評価装置３０のＰＵ３２は、ユーザＩＤと要求された基準とを受信する（Ｓ１００）。そしてＰＵ３２は、ユーザＩＤと要求された基準とを記憶装置３４に記憶する（Ｓ１０２）。そして、ＰＵ３２は、ＣＭ動画データを評価する（Ｓ１０４）。Ｓ１０４の処理は、Ｓ１０～Ｓ１８，Ｓ２２～Ｓ２６に準じた処理である。ただし、ここでは、Ｓ１６の処理に代えて図１０の処理を実行する。また、Ｓ２２～Ｓ２６の処理を、ＮＧ判定がないＣＭ動画データ中に１つでもＯＫ２判定がある場合、ＯＫ２判定とする処理に代える。
【0115】
そしてＰＵ３２は、通信機３６を操作することによって、評価結果に応じて、ユーザ端末５０（１），５０（２），…のそれぞれに、要求された基準を満たす画像が表示可能なようにＣＭ動画データを送信する（Ｓ１０６）。すなわち、ＰＵ３２は、ＯＫ１判定のＣＭ動画データについては、全てのユーザ端末５０に無条件でＣＭ動画データを送信する。一方、ＰＵ３２は、ＯＫ２判定のＣＭ動画データについては、状態２を許容するユーザのユーザ端末５０に無条件でＣＭ動画データを送信する。これに対し、状態２を許容しないユーザのユーザ端末５０には、ＯＫ２判定のＣＭ動画データの送信を禁止してもよい。またこれに代えて、ＰＵ３２は、Ｓ２０ａの処理と同様の処理を実行してもよい。一方、ＰＵ３２は、ＮＧ判定のＣＭ動画データについては、全てのユーザのユーザ端末にその動画データを送信することを禁止してもよい。またこれに代えて、ＰＵ３２は、Ｓ２０ａの処理を実行してもよい。なお、ＰＵ３２は、Ｓ１０６の処理を完了する場合、図１１に示す一連の処理のうちのＰＵ３２が実行する処理を一旦終了する。
【0116】
一方、ユーザ端末５０のＰＵ５２は、画像評価装置３０から送信されたＣＭ動画データを受信する（Ｓ９４）。ここで、ＰＵ５２は、基準を満たすＣＭ動画データについては無条件で再生する。また、基準を満たさないＣＭ動画データを受信する場合、同ＣＭ動画データに付与された制限指令に応じて、警告を発するか、マスクをするか、再生を禁止するかする。
【0117】
なお、ＰＵ５２は、Ｓ９４の処理を完了する場合、図１１に示す一連の処理のうちのＰＵ５２が実行する処理を一旦終了する。
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
【0118】
［１，２，１１］実行装置は、ＰＵ３２に対応する。記憶装置は、記憶装置３４に対応する。位置情報写像データは、位置情報写像データ３４ｂに対応する。評価写像データは、評価写像データ３４ｃに対応する。
【0119】
位置情報写像は、図４においては、Ｓ３０，Ｓ３２の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤが入力されることによって、ヒートマップを出力する写像に対応する。位置情報写像は、図７においては、Ｓ３０，Ｓ３２，Ｓ４２，Ｓ４４の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤが入力されることによって、係数行列ＭＫを出力する写像に対応する。位置情報写像は、図９においては、Ｓ６４～Ｓ７０の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤが入力されることによって、２値化マップＭｂｏｄｙを出力する写像に対応する。位置情報写像は、図１０においては、Ｓ３０ａ，Ｓ３２ａの処理によって実現される写像に対応する。換言すれば、フレームデータＦＤが入力されることによって、身体情報マップ８４を出力する写像に対応する。
【0120】
【0121】
評価写像は、図４においては、Ｓ３４～Ｓ４０の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤおよびヒートマップ６０～６６を入力としてＯＫ判定またはＮＧ判定を出力する写像に対応する。図７においては、Ｓ３４ａ，Ｓ３６～Ｓ４０の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤおよび係数行列ＭＫを入力としてＯＫ判定またはＮＧ判定を出力する写像に対応する。図８においては、Ｓ３４ｂ，Ｓ３６，Ｓ４０，Ｓ６０，Ｓ６２，Ｓ７２～Ｓ７６，Ｓ３８の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤおよび２値化マップＭｂｏｄｙを入力としてＯＫ判定またはＮＧ判定を出力する写像に対応する。図１０においては、Ｓ３４ｃ，Ｓ３６ａ，Ｓ３６ｂ，Ｓ３８ａ，Ｓ３８ｂ，Ｓ４０の処理によって実現される写像に対応する。換言すれば、フレームデータＦＤおよび身体情報マップ８４を入力としてＯＫ１判定、ＯＫ２判定またはＮＧ判定を出力する写像に対応する。
【0122】
評価処理は、図３および図４の処理においては、Ｓ３４～Ｓ４０の処理に対応する。図７においては、Ｓ３４ａ，Ｓ３６～Ｓ４０の処理に対応する。図８においては、Ｓ３４ｂ，Ｓ３６，Ｓ４０，Ｓ７２～Ｓ７６，Ｓ３８の処理に対応する。図１０においては、Ｓ３４ｃ，Ｓ３６ａ，Ｓ３６ｂ，Ｓ３８ａ，Ｓ３８ｂ，Ｓ４０の処理に対応する。
【0123】
画像データは、フレームデータＦＤに対応する。位置用入力データは、フレームデータＦＤに対応する。評価用入力データは、フレームデータＦＤに対応する。
［３］位置情報データは、ヒートマップ６０～６６と、身体情報マップ８４とに対応する。評価写像は、Ｓ３４～Ｓ４０の処理によって実現される写像と、Ｓ３４ｃ，Ｓ３６ａ，Ｓ３６ｂ，Ｓ３８ａ，Ｓ３８ｂ，Ｓ４０の処理によって実現される写像と、に対応する。［４］仮評価写像は、Ｓ３４ｂ，Ｓ３６の処理によって実現される写像に対応する。換言すれば、１つのフレームデータＦＤを入力として且つ、評価変数ｙｏｋ，ｙｎｇの値の大小比較判定結果を出力する写像に対応する。仮評価処理は、Ｓ３４ｂ，Ｓ３６の処理に対応する。妥当性評価処理は、Ｓ６０，Ｓ６２，Ｓ７２～Ｓ７４の処理に対応する。［５］通知処理は、Ｓ８０の処理に対応する。［６］特徴量レイヤは、特徴抽出器Ｍ２０の出力レイヤに対応する。
［３］位置情報データは、ヒートマップ６０～６６と、身体情報マップ８４とに対応する。評価写像は、Ｓ３４～Ｓ４０の処理によって実現される写像と、Ｓ３４ｃ，Ｓ３６ａ，Ｓ３６ｂ，Ｓ３８ａ，Ｓ３８ｂ，Ｓ４０の処理によって実現される写像と、に対応する。［４］仮評価写像は、Ｓ３４ｂ，Ｓ３６の処理によって実現される写像に対応する。換言すれば、１つのフレームデータＦＤを入力として且つ、評価変数ｙｏｋ，ｙｎｇの値の大小比較判定結果を出力する写像に対応する。仮評価処理は、Ｓ３４ｂ，Ｓ３６の処理に対応する。妥当性評価処理は、Ｓ６０，Ｓ６２，Ｓ７２～Ｓ７４の処理に対応する。［５］通知処理は、Ｓ８０の処理に対応する。［６］特徴量レイヤは、特徴抽出器Ｍ２０の出力レイヤに対応する。
【0124】
［７］ユーザ端末は、ユーザ端末５０（１），５０（２），…に対応する。提供処理は、図３のＳ２６の処理と、図６においてＳ２４の処理で否定判定された場合のＳ２６の処理と、図１１のＳ１０４において要求基準を満たすと判定されたときのＳ１０６の処理とに対応する。制限処理は、図３のＳ２０の処理、図６のＳ２０ａの処理、および図１１のＳ１０４において要求基準を満たさないと判定されたときのＳ１０６の処理に対応する。［８，１０］指示処理は、Ｓ９０，Ｓ９２の処理に対応する。［９］禁止処理は、Ｓ２０の処理、および図１１のＳ１０４において要求基準を満たさないと判定されたときのＳ１０６の処理に対応する。制限処理は、Ｓ２０ａの処理、および図１１のＳ１０４において要求基準を満たさないと判定されたときのＳ１０６の処理に対応する。［１２］画像評価プログラムは、画像評価プログラム３４ａに対応する。
【0125】
［１３～１５］提供工程は、図３のＳ２６の処理を実行する工程と、図６においてＳ２４の処理で否定判定された場合のＳ２６の処理を実行する工程と、に対応する。また、提供工程は、図１１のＳ１０４において要求基準を満たすと判定されたときのＳ１０６の処理を実行する工程に対応する。制限工程は、図３のＳ２０の処理を実行する工程、図６のＳ２０ａの処理を実行する工程、および図１１のＳ１０４において要求基準を満たさないと判定されたときのＳ１０６の処理を実行する工程に対応する。取得工程は、Ｓ１０の処理に対応する。
【0126】
＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0127】
「所定部位について」
再生して問題がある画像であるという評価の根拠である、１以上の身体の部分（所定の部位）は、胸部、正面下腹部、および尻部に限らず、例えば図２における身体の部分の少なくとも１つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図２における１の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇，眼，髪等の身体の部分の一部が上記根拠となってもよい。
再生して問題がある画像であるという評価の根拠である、１以上の身体の部分（所定の部位）は、胸部、正面下腹部、および尻部に限らず、例えば図２における身体の部分の少なくとも１つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図２における１の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇，眼，髪等の身体の部分の一部が上記根拠となってもよい。
【0128】
「位置情報写像について」
・図４の処理において用いる位置情報写像としては、フレームデータＦＤを入力として、顔部、胸部、下腹部、および尻部のヒートマップを出力する写像に限らない。たとえば、フレームデータＦＤを入力として、胸部、下腹部、および尻部のヒートマップを出力する写像であってもよい。
・図４の処理において用いる位置情報写像としては、フレームデータＦＤを入力として、顔部、胸部、下腹部、および尻部のヒートマップを出力する写像に限らない。たとえば、フレームデータＦＤを入力として、胸部、下腹部、および尻部のヒートマップを出力する写像であってもよい。
【0129】
・図４の処理において、ヒートマップを出力する写像を用いることは必須ではない。たとえばセマンティックセグメンテーションモデルを用いて、胸部、下腹部、および尻部のそれぞれに対応する画素を特定するマップを出力する写像を用いてもよい。
【0130】
・図７の処理において用いる位置情報写像としては、フレームデータＦＤを入力として、胸部、下腹部、尻部、および顔部のヒートマップに応じた係数行列ＭＫを出力する写像に限らない。たとえば、フレームデータＦＤを入力として、胸部、下腹部、および尻部のヒートマップに応じた係数行列ＭＫを出力する写像であってもよい。
【0131】
・図７の処理において、ヒートマップを出力する写像を用いることは必須ではない。たとえばセマンティックセグメンテーションモデルによって特定された、胸部、下腹部、尻部、および顔部のそれぞれに対応する画素に応じた係数行列を出力する写像を用いてもよい。その場合、特徴抽出器Ｍ２０の出力レイヤに応じて縮小された画素領域において、胸部、下腹部、尻部、および顔部のそれぞれを示す領域の係数Ｋを「１」よりも大きくすればよい。
【0132】
・図９の処理において、ヒートマップに応じた２値化マップＭｂｏｄｙを出力する写像を用いることは必須ではない。たとえばセマンティックセグメンテーションモデルによって特定された胸部、下腹部、および尻部のそれぞれに対応する領域に応じた２値化マップＭｂｏｄｙを出力する写像を用いてもよい。
【0133】
・図１０の処理においては、図２に示す部分「３」、部分「４，５」、部分「１０」，部分「１１，１８」、部分「１４」，部分「１２，１３，１８」を特定する識別する身体情報マップを出力する写像を用いたが、これに限らない。たとえば、部分「３」，部分「３，４，５」、部分「１０」，部分「１０，１１，１８」、部分「１４」，部分「１２，１３，１４，１８」を特定する身体情報マップを出力する写像を用いてもよい。
【0134】
・ヒートマップを出力する写像としては、胸部、下腹部、および尻部のそれぞれの存在確率を出力する写像に限らない。たとえば、部分「３」、部分「４，５」、部分「１０」、部分「１１，１８」、部分「１４」、部分「１２，１３，１８」のそれぞれである確率を出力する写像であってもよい。
【0135】
・ヒートマップを出力する写像としては、胸部、下腹部、および尻部のそれぞれ毎に、各別のマップを出力する写像に限らない。たとえば、各画素について、胸部、下腹部、および尻部のそれぞれの存在確率の最大値を出力する写像であってもよい。
【0136】
・ヒートマップを出力する写像が、胸部、下腹部、および尻部のそれぞれの存在確率を出力する写像であることは必須ではない。たとえば正面の画像であることが保証されている場合には、胸部および正面下腹部のそれぞれの存在確率に限って出力する写像であってもよい。すなわち、露出を問題とする所定部位をどこにするかに応じて、それら問題とする所定部位のそれぞれの存在確率に関するヒートマップを出力してもよい。
【0137】
・ヒートマップが示す確率分布は、等方性を有した分布に限らない。異方性を有した分布は、たとえば、図４のＳ３０の処理において用いた回帰モデルに代えて、ガウス分布のそれぞれの分散パラメータを２個または３個出力する回帰モデルを用いることによって実現できる。
【0138】
・セマンティックセグメンテーションモデルとしては、上述した３つ以上の部分を識別するモデルに限らない。たとえば正面の画像であることが保証されている場合には、胸部および正面下腹部のそれぞれとそれら以外とに限って識別するラベル変数を出力するモデルであってもよい。
【0139】
・セマンティックセグメンテーションモデルを用いて構成される写像としては、特定する部位毎に互いに異なるマップを出力する写像に限らない。たとえば、胸部、正面下腹部、尻部、およびそれ以外等で互いに異なるラベル変数の値を有した１枚のマップを出力する写像であってもよい。
【0140】
・位置情報写像が、画像領域が細分化された単位領域に対して値が定められたマップを出力する写像であることは必須ではない。たとえば、胸部の代表点、下腹部の代表点、および尻部の代表点のそれぞれの座標を出力する写像であってもよい。
【0141】
・位置情報写像の入力となる画像データとしては、上記フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。
【0142】
「位置用入力データについて」
・位置情報写像への入力となる位置用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、位置用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。なお、評価対象となる画像データを、位置用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
・位置情報写像への入力となる位置用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、位置用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。なお、評価対象となる画像データを、位置用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
【0143】
「評価写像について」
（ａ）評価用入力データの各画素と各画素に対応する位置情報データとが対応付けて入力される写像
・図４のＳ３４においては、フレームデータＦＤと、４つのヒートマップ６０～６６とが入力される写像を例示した。また、図１０においては、フレームデータＦＤと、６個の身体情報マップ８４とが入力される写像を例示した。しかし、入力対象となる、各画素について身体の所定部位であるか否かの情報が付与されたマップデータは、それらに限らず、同情報が付与されたマップデータは、「位置情報写像について」の欄に記載した任意のマップデータ等であってもよい。
（ａ）評価用入力データの各画素と各画素に対応する位置情報データとが対応付けて入力される写像
・図４のＳ３４においては、フレームデータＦＤと、４つのヒートマップ６０～６６とが入力される写像を例示した。また、図１０においては、フレームデータＦＤと、６個の身体情報マップ８４とが入力される写像を例示した。しかし、入力対象となる、各画素について身体の所定部位であるか否かの情報が付与されたマップデータは、それらに限らず、同情報が付与されたマップデータは、「位置情報写像について」の欄に記載した任意のマップデータ等であってもよい。
【0144】
・図４のＳ３４においては、フレームデータＦＤを入力したが、これに限らない。たとえばＲ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。
・図４においては、ＣＮＮを用いた識別モデル７０ａを例示したが、これに限らない。たとえば、アテンション機構を利用するモデルであってもよい。詳しくは、たとえばＴｒａｎｓｆｏｍｅｒベース（トランスフォーマエンコーダを備えた）モデル等のマルチヘッドアテンション機構を利用するモデル等であってもよい。その場合、フレームデータＦＤおよびヒートマップ６０～６６を分割したパッチを適宜線形変換したベクトルを、トランスフォーマエンコーダに入力する。ここで、各パッチは、フレームデータＦＤの一部の画素領域と、ヒートマップ６０～６６の対応する領域とに関するデータとする。これによっても、評価用入力データの各画素と各画素に対応する位置情報データとを対応付けて入力することができる。
・図４においては、ＣＮＮを用いた識別モデル７０ａを例示したが、これに限らない。たとえば、アテンション機構を利用するモデルであってもよい。詳しくは、たとえばＴｒａｎｓｆｏｍｅｒベース（トランスフォーマエンコーダを備えた）モデル等のマルチヘッドアテンション機構を利用するモデル等であってもよい。その場合、フレームデータＦＤおよびヒートマップ６０～６６を分割したパッチを適宜線形変換したベクトルを、トランスフォーマエンコーダに入力する。ここで、各パッチは、フレームデータＦＤの一部の画素領域と、ヒートマップ６０～６６の対応する領域とに関するデータとする。これによっても、評価用入力データの各画素と各画素に対応する位置情報データとを対応付けて入力することができる。
【0145】
・識別モデル７０ａの出力活性化関数が、ソフトマックス関数であることは必須ではない。たとえば、ロジスティックシグモイド関数としてもよい。
（ｂ）仮評価写像について
・図８のＳ３４ｂにおいては、フレームデータＦＤを入力とする写像を例示したが、これに限らない。たとえばＲ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。
（ｂ）仮評価写像について
・図８のＳ３４ｂにおいては、フレームデータＦＤを入力とする写像を例示したが、これに限らない。たとえばＲ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。
【0146】
・図８においては、ＣＮＮを用いた識別モデル７０ｃを例示したが、これに限らない。たとえばアテンション機構を利用するモデルであってもよい。詳しくは、たとえばＴｒａｎｓｆｏｍｅｒベース（トランスフォーマエンコーダを備えた）モデル等のマルチヘッドアテンション機構を利用するモデル等であってもよい。換言すれば、評価結果に寄与した部分を特定するデータは、ＣＮＮの特徴マップに限らない。識別モデル７０ｃとして、Ｔｒａｎｓｆｏｍｅｒベースのモデルを利用する場合、アテンションマップ、アテンションマスクに基づく注視マップＭＡＴＴを用いて前述の妥当性評価を行ってもよい。
【0147】
・識別モデル７０ｃの出力活性化関数が、ソフトマックス関数であることは必須ではない。たとえば、ロジスティックシグモイド関数としてもよい。
・仮評価写像を規定する識別モデルが、位置情報写像の出力を利用しないことは必須ではない。たとえば、仮評価写像を規定する識別モデルを、識別モデル７０ａとしたり、識別モデル７０ａに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル７０ｂとしたり、識別モデル７０ｂに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル７０ｄとしたり、識別モデル７０ｄに関する上記変更例としたりしてもよい。
・仮評価写像を規定する識別モデルが、位置情報写像の出力を利用しないことは必須ではない。たとえば、仮評価写像を規定する識別モデルを、識別モデル７０ａとしたり、識別モデル７０ａに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル７０ｂとしたり、識別モデル７０ｂに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル７０ｄとしたり、識別モデル７０ｄに関する上記変更例としたりしてもよい。
【0148】
（ｃ）妥当性評価処理について
・図８の処理において、Ｓ５０の処理を実行する条件に、人の所定部位が含まれている旨の条件を含めてもよい。これにより、フレームデータＦＤが示す画像に人の所定部位が含まれない場合において適切な評価をすることができる。
・図８の処理において、Ｓ５０の処理を実行する条件に、人の所定部位が含まれている旨の条件を含めてもよい。これにより、フレームデータＦＤが示す画像に人の所定部位が含まれない場合において適切な評価をすることができる。
【0149】
・図８の処理では、Ｓ３６の処理において肯定判定された場合に限って、Ｓ５０の処理を実行したが、これに限らない。たとえば、Ｓ３６の処理において否定判定されたときにもＳ５０の処理に準じた処理を実行してもよい。ここで、Ｓ５０の処理に準じた処理は、たとえば次のようにして実現できる。
【0150】
すなわち、ＰＵ３２は、Ｓ７０の処理に代えて、胸部である確率が閾値以上である２値化マップＭｂｏｄｙ（１）、正面下腹部である確率が閾値以上である２値化マップＭｂｏｄｙ（２）、尻部である確率が閾値以上である２値化マップＭｂｏｄｙ（３）を生成する。ここで、２値化マップＭｂｏｄｙ（１）は、正面下腹部である確率が閾値以上であることと尻部である確率が閾値以上であることとの論理和が真となる画素のラベル変数を「０」としたマップである。また、２値化マップＭｂｏｄｙ（２）は、胸部である確率が閾値以上であることと尻部である確率が閾値以上であることとの論理和が真となる画素のラベル変数を「０」としたマップである。また、２値化マップＭｂｏｄｙ（３）は、胸部である確率が閾値以上であることと正面下腹部である確率が閾値以上であることとの論理和が真となる画素のラベル変数を「０」としたマップである。そして、ＰＵ３２は、Ｓ７２の処理に代えて、２値化マップＭｂｏｄｙ（１）～（３）のそれぞれと、２値化マップＭＡＣＴとのアダマール積を算出して注視マップＭＡＴＴ（１）～（３）を算出する。そして、ＰＵ３２は、注視マップＭＡＴＴ（１）～（３）のそれぞれの各成分の平均値に、閾値ｇｔｈ以上となるものがある場合に、Ｓ３６の処理が妥当であると評価する。
【0151】
この処理は、ＮＧ判定は、胸部、下腹部、および尻部の少なくとも１つの露出によってなされるものであることに鑑みた処理である。すなわち、ＰＵ３２は、ＮＧ判定したときに注視した領域が胸部、下腹部、および尻部の少なくとも１つであれば、ＮＧ判定が妥当であると評価する。
【0152】
・妥当性評価処理が２値化マップＭｂｏｄｙを生成する処理を含むことは必須ではない。たとえば、次のようにしてもよい。すなわち、ＰＵ３２は、Ｓ６０の処理によって生成されたアクティベーションマップのうちのＳ６８の処理において縮小されたヒートマップが示す胸部、下腹部、および尻部を特定する。そして、ＰＵ３２は、それらのそれぞれの領域の値の和と、それら以外の領域の所定の面積を有する領域の値の和との大小を比較する。なお、その場合、アクティベーションマップの各画素の値を、予めＲｅＬＵまたはロジスティックシグモイド関数等を用いて変換された値とすることが望ましい。
【0153】
（ｄ）特徴量レイヤが示す複数個の領域の少なくとも一部の値と位置情報データとを合成する処理
・図７のＳ３４ａの積算処理Ｍ２２においては、１つの特徴マップとアダマール積がとられる係数行列ＭＫを１個としたが、これに限らない。２個以上であってもよい。
・図７のＳ３４ａの積算処理Ｍ２２においては、１つの特徴マップとアダマール積がとられる係数行列ＭＫを１個としたが、これに限らない。２個以上であってもよい。
【0154】
・図７のＳ３４ａの積算処理Ｍ２２においては、係数行列ＭＫとのアダマール積が算出される対象とならない特徴マップを設けたが、これは必須ではない。
・「位置情報写像について」の欄の記載に示唆した通り、係数行列ＭＫは、４個に限らない。
・「位置情報写像について」の欄の記載に示唆した通り、係数行列ＭＫは、４個に限らない。
【0155】
・特徴量レイヤが示す複数個の領域の少なくとも一部の値と位置情報データとを合成する処理は、係数行列ＭＫと特徴マップとの積算処理Ｍ２２に限らない。たとえば、係数行列ＭＫと特徴マップとの畳み込み処理であってもよい。
【0156】
（ｅ）露出度に応じた評価変数の値について
・図１０には、露出度に応じた３値の互いに異なる値を取り得る評価変数の値を例示したが、これに限らない。たとえば、評価変数が４値以上の値を取り得る変数であってもよい。
・図１０には、露出度に応じた３値の互いに異なる値を取り得る評価変数の値を例示したが、これに限らない。たとえば、評価変数が４値以上の値を取り得る変数であってもよい。
【0157】
（ｆ）そのほか
・識別モデル７０ａ，７０ｃに限らず、たとえば、識別モデル７０ｂ，７０ｄに代えて、アテンション機構を利用するモデルを用いてもよい。詳しくは、たとえばＴｒａｎｓｆｏｍｅｒベース（トランスフォーマエンコーダを備えた）モデル等のマルチヘッドアテンション機構を利用するモデル等を用いてもよい。
・識別モデル７０ａ，７０ｃに限らず、たとえば、識別モデル７０ｂ，７０ｄに代えて、アテンション機構を利用するモデルを用いてもよい。詳しくは、たとえばＴｒａｎｓｆｏｍｅｒベース（トランスフォーマエンコーダを備えた）モデル等のマルチヘッドアテンション機構を利用するモデル等を用いてもよい。
【0158】
・評価写像への入力となる位置情報データとしては、２次元の画像領域のそれぞれにおける所定部位に関する情報を含むデータに限らない。たとえば、「位置情報写像について」の欄に記載したように所定部位の代表点の座標であってもよい。
【0159】
・たとえば、フレームデータＦＤとヒートマップ６０～６６とを、全結合順伝播型のＮＮに入力してもよい。その場合、各画素について身体の所定部位であるか否かの情報が付与されたマップデータとフレームデータＦＤとのそれぞれの値の、ＮＮの重み係数による加重平均処理が第１番目のレイヤによってなされる処理としてもよい。
【0160】
「評価写像を規定するモデルの出力について」
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の３つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である３個用意することによって実現できる。なお、こうした場合には、妥当性評価処理においてＮＧ判定の妥当性を評価する場合には、上述したものに代えて次の変更をすることが望ましい。すなわち、たとえば胸部のみにＮＧ判定がなされる場合、胸部に着目している場合に妥当と判定する処理に代えればよい。またたとえば、胸部および正面下腹部の双方でＮＧ判定がなされる場合、胸部および正面下腹部の双方に着目している場合に妥当と判定する処理に代えればよい。
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の３つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である３個用意することによって実現できる。なお、こうした場合には、妥当性評価処理においてＮＧ判定の妥当性を評価する場合には、上述したものに代えて次の変更をすることが望ましい。すなわち、たとえば胸部のみにＮＧ判定がなされる場合、胸部に着目している場合に妥当と判定する処理に代えればよい。またたとえば、胸部および正面下腹部の双方でＮＧ判定がなされる場合、胸部および正面下腹部の双方に着目している場合に妥当と判定する処理に代えればよい。
【0161】
「評価用入力データについて」
・評価写像への入力となる評価用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、評価用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。なお、評価対象となる画像データを、評価用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
・評価写像への入力となる評価用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、評価用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。なお、評価対象となる画像データを、評価用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
【0162】
「位置情報写像データについて」
・位置情報写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトル回帰の学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、位置情報写像データとして記憶装置３４に記憶する。
・位置情報写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトル回帰の学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、位置情報写像データとして記憶装置３４に記憶する。
【0163】
「評価写像データについて」
・識別モデル７０ａ～７０ｄに代えて、アテンション機構を利用するモデルを用いる場合、評価写像データ３４ｃは、次のデータを含んでもよい。すなわち、評価写像データ３４ｃは、フレームデータＦＤを分割した各パッチを１次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、評価写像データ３４ｃは、上記１次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、評価写像データ３４ｃは、１次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。
・識別モデル７０ａ～７０ｄに代えて、アテンション機構を利用するモデルを用いる場合、評価写像データ３４ｃは、次のデータを含んでもよい。すなわち、評価写像データ３４ｃは、フレームデータＦＤを分割した各パッチを１次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、評価写像データ３４ｃは、上記１次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、評価写像データ３４ｃは、１次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。
【0164】
・評価写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、評価写像データとして記憶装置３４に記憶する。
【0165】
また、全結合レイヤのパラメータと、畳み込みのフィルタを構成するパラメータ等の事後分布を出力する関数を評価写像データとして記憶装置３４に記憶してもよい。ここでは、たとえば識別モデル７０ｃにおける出力活性化関数をロジスティックシグモイド関数に代える。またたとえば、上記パラメータのそれぞれについて正規分布等の事前分布を仮定する。そして学習過程においてベイズ推定によって事後分布を生成する。なお、ＰＵ３２は、事後分布に基づきサンプリング法等に基づき上記パラメータの平均値を算出し、これを図８で用いたパラメータに代えればよい。なお、その場合、妥当性評価処理によって妥当ではないと評価されたデータを用いて再学習をすることによって、事後分布を更新してもよい。
【0166】
「評価処理について」
・評価処理が、Ｎ個の周期でサンプリングされた３個のフレームデータＦＤのうちの２個以上についてフレーム評価処理によってＯＫ判定がなされる場合に、２Ｎ＋１のフレーム分の画像データのＯＫ判定としたが、これに限らない。たとえば、図８の処理の上述の変更例においては妥当性評価処理の判定結果に応じてＯＫ判定の基準を変えてもよい。具体的には、Ｓ３６の処理においてＮＧ判定されたものの、妥当性評価処理によってＮＧ判定が妥当ではないと判定された場合には、ＮＧ判定のなされた回数を「０．５」とカウントしてもよい。その場合、たとえばＮＧ判定の数が「１」未満で最終的なＯＫ判定をすることによって、妥当性評価処理の判定結果に応じてＯＫ判定の基準を変えることができる。
・評価処理が、Ｎ個の周期でサンプリングされた３個のフレームデータＦＤのうちの２個以上についてフレーム評価処理によってＯＫ判定がなされる場合に、２Ｎ＋１のフレーム分の画像データのＯＫ判定としたが、これに限らない。たとえば、図８の処理の上述の変更例においては妥当性評価処理の判定結果に応じてＯＫ判定の基準を変えてもよい。具体的には、Ｓ３６の処理においてＮＧ判定されたものの、妥当性評価処理によってＮＧ判定が妥当ではないと判定された場合には、ＮＧ判定のなされた回数を「０．５」とカウントしてもよい。その場合、たとえばＮＧ判定の数が「１」未満で最終的なＯＫ判定をすることによって、妥当性評価処理の判定結果に応じてＯＫ判定の基準を変えることができる。
【0167】
・複数のフレームにおいてそれらの一部且つ所定数以上ＯＫ判定がなされる場合にＯＫ判定をすることは必須ではない。たとえば、所定周期でサンプリングされたフレームデータＦＤの全てがフレーム評価処理によってＯＫとされる場合に限って、最終的なＯＫ判定をしてもよい。なお、ここで所定周期は、フレームの周期と等しくてもよい。
【0168】
「制限処理、制限工程について」
・Ｓ２０ａの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、Ｓ２０ａの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位が実際に露出している領域を少なくとも含む再生画像の一部は、たとえば、上述の２次元分布に少なくとも基づいて決定されてもよい。なお画像中に所定部位が複数存在する場合に実際に露出している領域のみをマスクするうえでは、実際に露出している領域を特定することが望ましい。これは、たとえば、識別モデルの注視領域に基づき露出している領域を特定する処理としてもよい。
・Ｓ２０ａの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、Ｓ２０ａの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位が実際に露出している領域を少なくとも含む再生画像の一部は、たとえば、上述の２次元分布に少なくとも基づいて決定されてもよい。なお画像中に所定部位が複数存在する場合に実際に露出している領域のみをマスクするうえでは、実際に露出している領域を特定することが望ましい。これは、たとえば、識別モデルの注視領域に基づき露出している領域を特定する処理としてもよい。
【0169】
・たとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかったフレームデータＦＤの数が所定数に満たない場合に、ＣＭ動画データの配信（送信）を禁止してもよい。その場合、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのすべてにおいてＯＫ判定がなされることを条件として、ＣＭ動画データの配信（送信）を行ってもよい。
【0170】
またたとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかったフレームデータＦＤの数が所定数である場合に、ＣＭ動画データの配信（送信）を禁止してもよい。その場合、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤの少なくとも一部においてＯＫ判定がなされることを条件として、ＣＭ動画データの配信（送信）を行ってもよい。
【0171】
またたとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかった所定数に満たないフレームデータＦＤを挟んでＯＫ判定がなされたフレームデータＦＤが連続する場合、ＣＭ動画データの配信（送信）を行ってもよい。
【0172】
なお、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされた所定数に満たないフレームデータＦＤを挟んでＯＫ判定がなされなかったフレームデータＦＤが連続する場合、ＣＭ動画データの配信（送信）を禁止してもよい。
【0173】
・Ｓ２０ａの処理によってユーザ端末５０において画像が表示されることを制限する処理にとって、図４に示すフレーム評価処理等によって評価がなされることは必須ではない。たとえば図７に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にＳ２０ａの処理を適用してもよい。またたとえば、図８に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にＳ２０ａの処理を適用してもよい。
【0174】
・図１１の処理において、Ｓ９２，Ｓ１００，Ｓ１０２の処理を省いてもよい。その場合、ＰＵ３２は、ＯＫ２判定の場合、Ｓ１０６の処理において、ＯＫ２判定である旨を制限指令としてＣＭ動画データに付与すればよい。その場合、ユーザ端末５０のＰＵ５２は、Ｓ９０の処理によって受け付けた基準と、制限指令とに応じてＣＭ動画データを再生するか否か等を決定すればよい。
【0175】
・たとえばＮＧ判定がなされたフレームを削除したＣＭ動画データをユーザ端末５０に送信してもよい。これによっても、ユーザ端末５０において不適切な画像が表示されることを抑制できる。
【0176】
・ユーザ端末５０に専用のアプリケーションプログラム５４ａが記憶されていることは必須ではない。たとえば、画像評価装置３０から配信されたＣＭ動画データを汎用のブラウザを利用して再生してもよい。
【0177】
「実行装置について」
・実行装置としては、ＰＵ３２に限らない。たとえば、実行装置を、ＡＳＩＣ、およびＦＰＧＡ等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成を備える処理回路を含んでいてもよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路（ハードウェアアクセレータ）とを備える処理回路。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
・実行装置としては、ＰＵ３２に限らない。たとえば、実行装置を、ＡＳＩＣ、およびＦＰＧＡ等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成を備える処理回路を含んでいてもよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路（ハードウェアアクセレータ）とを備える処理回路。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
【0178】
「画像評価装置について」
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末５０に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末５０に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末１０から送信された画像データを受信することも必須ではない。たとえば、業者端末１０から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。さらに、画像評価装置と業者端末１０とが一体化されていてもよい。
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末５０に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末５０に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末１０から送信された画像データを受信することも必須ではない。たとえば、業者端末１０から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。さらに、画像評価装置と業者端末１０とが一体化されていてもよい。
【0179】
「コンピュータについて」
・画像評価プログラム３４ａを実行するコンピュータとしては、画像評価装置３０が備えるＰＵ３２に限らない。たとえば、画像評価プログラム３４ａをユーザ端末５０にインストールすることによって、ユーザ端末５０のＰＵ５２を画像評価プログラム３４ａを実行するコンピュータとしてもよい。
・画像評価プログラム３４ａを実行するコンピュータとしては、画像評価装置３０が備えるＰＵ３２に限らない。たとえば、画像評価プログラム３４ａをユーザ端末５０にインストールすることによって、ユーザ端末５０のＰＵ５２を画像評価プログラム３４ａを実行するコンピュータとしてもよい。
【0180】
「そのほか」
・ＰＵ１２が、ＰＵ３２に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、ＣＭ動画データとして、ストリーミング映像の態様でユーザ端末５０に対して配信（送信）されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末５０に対してリアルタイムに配信（送信）されてよい。評価対象となる画像データは、ＣＭ動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人（人物）の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。
・ＰＵ１２が、ＰＵ３２に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、ＣＭ動画データとして、ストリーミング映像の態様でユーザ端末５０に対して配信（送信）されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末５０に対してリアルタイムに配信（送信）されてよい。評価対象となる画像データは、ＣＭ動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人（人物）の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。
【0181】
・ＰＵ３２は、ＯＫ判定またはＮＧ判定の根拠として扱われる、明示的に予め定められた所定部位を示す情報を、業者端末１０および／またはユーザ端末５０に対して、ＣＭ動画データの配信（送信）の前に通知してよい。また、ＰＵ３２は、所定部位を示す情報を、業者端末１０および／またはユーザ端末５０に対して、ＣＭ動画データの配信（送信）中に通知してよい。また、ＰＵ３２は、配信（送信）中のＣＭ動画データのフレームデータＦＤについてＮＧ判定の根拠となった所定部位を示す情報を、業者端末１０および／またはユーザ端末５０に対して、通知してよい。なお、ここでの「通知」とは、業者端末１０および／またはユーザ端末５０に対するメッセージ送信の態様であってよく、業者端末１０および／またはユーザ端末５０において表示中のＣＭ動画データに重畳させる表示処理の態様であってよい。
【符号の説明】
【0182】
１０…業者端末
１４…記憶装置
１６…通信機
２０…ネットワーク
３０…画像評価装置
３４…記憶装置
３４ａ…画像評価プログラム
３４ｂ…位置情報写像データ
３４ｃ…評価写像データ
３６…通信機
４０…ユーザインターフェース
５０…ユーザ端末
５４…記憶装置
５４ａ…アプリケーションプログラム
５６…通信機
５８…ユーザインターフェース
６０～６６…ヒートマップ
７０ａ～７０ｄ…識別モデル
１４…記憶装置
１６…通信機
２０…ネットワーク
３０…画像評価装置
３４…記憶装置
３４ａ…画像評価プログラム
３４ｂ…位置情報写像データ
３４ｃ…評価写像データ
３６…通信機
４０…ユーザインターフェース
５０…ユーザ端末
５４…記憶装置
５４ａ…アプリケーションプログラム
５６…通信機
５８…ユーザインターフェース
６０～６６…ヒートマップ
７０ａ～７０ｄ…識別モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】