特開 2023-169956 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023169956

(43)【公開日】2023-12-01

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231124BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 570

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022081319

(22)【出願日】2022-05-18

(11)【特許番号】

(45)【特許公報発行日】2022-10-19

(71)【出願人】

【識別番号】520460708

【氏名又は名称】株式会社エフィシエント

(71)【出願人】

【識別番号】506016613

【氏名又は名称】株式会社川崎フロンターレ

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】脇坂 健一郎

(72)【発明者】

【氏名】高野 祐介

(72)【発明者】

【氏名】長谷川 哲也

【テーマコード（参考）】

5B043

5L096

【Ｆターム（参考）】

5B043BA06

5B043GA02

5L096EA35

5L096HA08

5L096JA03

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】正規に譲渡された著名人のサイン付きの物品が転売目的でインターネット上に公開されたことを検出する情報処理システム、方法及びプログラムを提供する。
【解決手段】情報処理システムにおいて、画像解析サーバは、記憶部と制御部とを有する。記憶部は、人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶する。制御部は、いずれかの第１物品画像からサインを囲う第１サイン領域画像の第１特徴量を抽出し、インターネット上から取得した、人の直筆のサインが書かれた物品を撮像した第２物品画像からサインを囲う第２サイン領域画像の第２特徴量を抽出し、抽出した第１特徴量と第２特徴量とを基に、第１サイン領域画像と第２サイン領域画像との類似度を算出し、管理者端末へ第１物品画像に対応するユーザ識別情報を出力する。
【選択図】図６

【特許請求の範囲】

【請求項1】

人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶する記憶部と、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出し、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出し、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出し、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力する、
制御部と
を具備する情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記制御部は、前記第１サイン領域画像及び前記第２サイン領域画像として、前記サインの上下左右の各端部のわずかに外側に各辺を有する第１矩形領域を所定の辺方向に所定割合だけ伸長させた第２矩形領域の画像を切り抜く
情報処理システム。

【請求項3】

請求項２に記載の情報処理システムであって、
前記記憶部は、前記物品の種別を示す情報と、前記第１矩形領域を伸長させる辺方向を示す情報とを対応付けて記憶し、
前記制御部は、前記第１矩形領域を前記物品の種別に対応する辺方向に伸長させた第２矩形領域の画像を切り抜く
情報処理システム。

【請求項4】

請求項３に記載の情報処理システムであって、
前記制御部は、前記サインが書かれていない前記物品の画像に前記サインの画像を合成し、当該サインを囲う前記第１矩形領域を前記物品の種別に対応する辺方向に伸長させた前記第２矩形領域の画像を切り抜くことで、複数の学習用画像を生成し、当該複数の学習用画像を用いた学習により前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出する学習モデルを生成する
情報処理システム。

【請求項5】

請求項１乃至４のいずれかに記載の情報処理システムであって、
前記制御部は、前記出力されたユーザ識別情報に対応する他の第１物品画像が存在するか否かを判定し、当該他の第１物品画像が存在すると判定した場合に、当該他の第１物品画像に関する情報を出力する
情報処理システム。

【請求項6】

請求項１乃至５のいずれかに記載の情報処理システムであって、
前記物品には複数の異なる人のサインが書かれており、
前記制御部は、前記第１物品画像及び前記第２物品画像から前記複数のサインをまとめて囲う領域の画像を前記第１サイン領域画像及び前記第２サイン領域画像として切り抜く
情報処理システム。

【請求項7】

人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶し、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出し、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出し、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像とが類似度を算出し、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力する
情報処理方法。

【請求項8】

情報処理装置に、
人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶するステップと、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出するステップと、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出するステップと、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出するステップと、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報を出力するステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、著名人のサイン付きのユニフォーム等のサイン付き物品を撮像した画像と他の画像との類似度を算出可能な情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来から、著名人のサインが書かれた物品が真正であることを証明するための技術が存在する。

【0003】

例えば下記特許文献１には、野球ボールなどに署名者が署名するところを撮像し、コンピュータプログラムによって、撮像画像と、その署名者が署名したことが周知の署名の記憶画像と比較することで、撮像された署名者の署名を証明するシステムが開示されている。

【0004】

また下記特許文献２には、Ｔシャツに選手がサインする現場の証拠写真を撮像し、撮像画像をウェブ上にアップロードし、後からサイングッズの購入者に閲覧可能とすることで、そのサインが本物であることを確認することができるシステムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２００３－５３３８０５号公報

【特許文献2】特許第６６５２９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１及び２のような従来技術では、真正品の証明に主眼が置かれているため、正規に譲渡された著名人のサイン付きの物品が転売目的でインターネット上に公開された場合に、それを検出することはできない。

【0007】

以上のような事情に鑑み、本発明の目的は、正規に譲渡された著名人のサイン付きの物品が転売目的でインターネット上に公開されたことを検出することが可能な情報処理システム、情報処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一形態に係る情報処理システムは、記憶部と制御部とを有する。上記記憶部は、人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶する。上記制御部は、いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出する。また制御部は、インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出する。さらに制御部は、前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出する。そして制御部は、前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力する。

【0009】

この構成により、第１品画像と第２の物品画像とからそれぞれサイン領域画像を切り抜いて類似度を算出することで、正規に譲渡された著名人のサイン付きの物品が転売目的でインターネット上に公開されたことを検出しその公開者の情報を管理者に把握させることができる。物品とは、例えばユニフォーム、帽子、シューズ、バッグ等の衣服・アパレル製品の他、ボール、書籍、写真、ポスター、ＣＤ／ＤＶＤジャケット等、スポーツ選手、アーティスト、俳優等の著名人がサインを書くことが可能なあらゆる物品である。

【0010】

前記制御部は、前記第１サイン領域画像及び前記第２サイン領域画像として、前記サインの上下左右の各端部のわずかに外側に各辺を有する第１矩形領域を所定の辺方向に所定割合だけ伸長させた第２矩形領域の画像を切り抜いてもよい。

【0011】

これにより、例えばユニフォームや帽子に書かれたサインのみならずそのサインに隣接する領域（例えば上部）に存在するロゴ等の図柄や文字も併せて切り抜き、そこからも特徴量を抽出することで、類似度算出の精度を向上させることができる。所定割合とは例えば１０％、２０％、５０％等であるが、これに限られない。

【0012】

前記記憶部は、前記物品の種別を示す情報と、前記第１矩形領域を伸長させる辺方向を示す情報とを対応付けて記憶してもよい。この場合前記制御部は、前記第１矩形領域を前記物品の種別に対応する辺方向に伸長させた第２矩形領域の画像を切り抜いてもよい。

【0013】

これにより、サインが書かれる物品に応じて、サインの領域よりも伸長させて切り抜く方向を予め記憶しておくことで、サインが書かれた様々な物品について類似度算出の精度を向上させることができる。

【0014】

前記制御部は、前記サインが書かれていない前記物品の画像に前記サインの画像を合成し、当該サインを囲う前記第１矩形領域を前記物品の種別に対応する辺方向に伸長させた前記第２矩形領域の画像を切り抜くことで、複数の学習用画像を生成し、当該複数の学習用画像を用いた学習により前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出する学習モデルを生成してもよい。

【0015】

これにより、物品の画像とサインの画像を合成して複数の学習用画像を生成することで、サインが書かれた物品の画像が収集しづらい場合でも、類似度算出に十分な量の学習を実行させることができる。

【0016】

前記制御部は、前記出力されたユーザ識別情報に対応する他の第１物品画像が存在するか否かを判定し、当該他の第１物品画像が存在すると判定した場合に、当該他の第１物品画像に関する情報を出力してもよい。

【0017】

これにより、サイン入りの物品を転売目的でインターネット上に公開したユーザが今後に転売目的で公開する可能性のある他のサイン入りの物品を管理者に把握させることができる。

【0018】

前記物品には複数の異なる人のサインが書かれていてもよい。この場合前記制御部は、前記第１物品画像及び前記第２物品画像から前記複数のサインをまとめて囲う領域の画像を前記第１サイン領域画像及び前記第２サイン領域画像として切り抜いてもよい。

【0019】

これにより、複数のサインが書かれている場合にはまとめてサイン領域画像として切り抜いて比較することで、個々のサインは似ていても複数のサインの配置が異なる場合に誤って類似度を高く算出してしまうのを防ぐことができる。

【0020】

本発明の他の形態に係る情報処理方法は、
人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶し、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出し、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出し、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出し、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力する。

【0021】

本発明の他の形態に係るプログラムは、情報処理装置に、
人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶するステップと、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出するステップと、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出するステップと、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出するステップと、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力するステップと、を実行させる。

【発明の効果】

【0022】

以上説明したように、本発明によれば、正規に譲渡された著名人のサイン付きの物品が転売目的でインターネット上に公開されたことを検出することができる。しかし、当該効果は本発明を限定するものではない。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係るユニフォーム画像解析システムの構成を示した図である。

【図2】本発明の一実施形態に係る画像解析サーバのハードウェア構成を示した図である。

【図3】本発明の一実施形態に係る画像解析サーバが有するデータベースの構成を示した図である。

【図4】本発明の一実施形態に係る画像解析サーバによる学習処理の流れを示したフローチャートである。

【図5】上記学習処理に利用される学習用画像の生成手法を示した図である。

【図6】本発明の一実施形態に係る画像解析サーバによる画像解析処理の流れを示したフローチャートである。

【図7】上記画像解析処理を画像解析サーバへ要求する際に管理者端末に表示される解析要求画面の例を示した図である。

【図8】本発明の他の実施形態に係るユニフォーム画像解析システムにおけるサイン入りグッズ画像からのサイン領域画像の切り抜き手法について説明した図である。

【発明を実施するための形態】

【0024】

以下、図面を参照しながら、本発明の実施形態を説明する。

【0025】

［システムの構成］
図１は、本実施形態に係るサイン入りグッズ画像解析システムの構成を示した図である。

【0026】

同図に示すように、このシステムは、インターネット上の画像解析サーバ１００と、管理者端末２００とを含む。画像解析サーバ１００と管理者端末２００とは、インターネット５０等のネットワークを介して接続されている。

【0027】

管理者端末２００は、サイン入りグッズの提供サービス（ファンクラブサービス）の運用管理者により使用される端末であり、例えばスマートフォン、携帯電話、タブレットＰＣ（Personal Computer）、ノートブックＰＣ、デスクトップＰＣ等である。

【0028】

サイン入りグッズは、例えばユニフォーム、帽子、シューズ、バッグ等の衣服・アパレル製品の他、ボール、書籍、写真、ポスター、ＣＤ／ＤＶＤジャケット等、スポーツ選手、アーティスト、俳優等の著名人がサインを書くことが可能なあらゆる物品である。本実施形態では一例として、サイン入りグッズがサイン入りユニフォームの場合について説明する。

【0029】

当該サイン入りユニフォームは、例えばプロスポーツチームによってユーザ（ファン）に販売され、または抽選の当選者への賞品等として譲渡される。この場合ユーザは、当該プロスポーツチームが運営するサービスの会員として登録されているユーザである必要がある。

【0030】

またこの譲渡の際、譲渡されるサイン入りユニフォームが撮影され、当該画像が、当該サイン入りユニフォームを識別するグッズ識別情報及び譲渡先のユーザを識別するユーザ識別情報と紐付けられて画像解析サーバ１００に記憶される。

【0031】

画像解析サーバ１００は、管理者端末２００とＨＴＴＰＳによる通信を行うＷｅｂサーバ、上記管理者端末２００からアップロードされたサイン入りユニフォームの写真及び対応するグッズ識別情報及びユーザ識別情報等のデータを記憶するデータベース、上記ユニフォームの写真の画像ファイルを記憶するファイルシステム、上記ファイルシステム上の画像とインターネット上で取得された画像との類似度を算出するＡＩエンジン等を有する。

【0032】

ＡＩエンジンは、例えばディープラーニング等により、解析対象のサイン入りユニフォームの撮像画像からサイン領域を切り抜きその特徴量を抽出し、既存の画像との類似度を算出できるように、多数のサイン入りユニフォームの画像を学習させたものである。

【0033】

本実施形態では、運用管理者が、例えば定期的に、ユーザに提供されたサイン入りユニフォームがインターネット上で転売されていないか否かを検証する。この場合運用管理者は、例えばフリーマーケットサービスやネットオークションサービス等、インターネット上で見つけたサイン入りユニフォームの写真を、管理者端末２００からＷｅｂサーバ（フロントエンドシステム）を介して画像解析サーバ１００へアップロードする（同図（１））。

【0034】

画像解析サーバ１００は、アップロードされた写真を、ＡＩエンジンを用いて解析し（同図（２））、解析結果を基に、当該写真と類似する写真を、ファイルシステムに登録された写真から検索（同図（３））する。ＡＩエンジンは検索された類似画像及び当該類似画像と解析対象の写真との類似度を示す情報をＷｅｂサーバへ返却する（同図（４））。

【0035】

またそれとともに画像解析サーバ１００は、上記検索された類似画像に紐付けられた会員番号を上記データベースから取得し（同図（５））、上記類似画像、類似度、会員番号の情報を、Ｗｅｂサーバを介して管理者端末２００のディスプレイへ出力する（同図（６））。

【0036】

このユニフォーム画像の学習処理及び解析処理の詳細については後述する。

【0037】

［画像解析サーバのハードウェア構成］
図２は、上記画像解析サーバ１００のハードウェア構成を示した図である。同図に示すように、画像解析サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

【0038】

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら画像解析サーバ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

【0039】

入出力インタフェース１５には、表示部１６、操作受付部１７、記憶部１８、通信部１９等が接続される。

【0040】

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

【0041】

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルは表示部１６と一体となり得る。

【0042】

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。

【0043】

特に本実施形態では、記憶部１８は、後述するサイン入りユニフォーム画像の学習処理及び解析処理を実行するためのアプリケーションその他のプログラム及びデータを記憶している。後述するが、記憶部１８は、そのようなデータを含むデータベースとして、サイングッズ情報データベース３１、ユーザ情報データベース３２、及び類似画像情報３３データベースを有している。また記憶部１８のファイルシステムには、ユーザに提供された際に撮影されたサイングッズ（サイン入りユニフォーム）の画像の他、インターネット５０上の例えばフリーマーケットサービスやオークションサービス等の販売サービスのサイト上から収集された、サイングッズの多数の画像ファイルも記憶されている。

【0044】

通信部１９は、例えばEthernet用のＮＩＣ（Network Interface Card）や無線ＬＡＮ等の無線通信用の各種モジュールであり、上記管理者端末２００との間の通信処理を担う。

【0045】

なお図示しないが、管理者端末２００の基本的なハードウェア構成も上記画像解析サーバ１００の構成と同様である。

【0046】

［画像解析サーバのデータベース構成］
図３は、上記画像解析サーバ１００が有するデータベースの構成を示した図である。

【0047】

同図に示すように、画像解析サーバ１００は、記憶部１８に、サイングッズ情報データベース３１、ユーザ情報データベース３２、類似画像情報データベース３３を有している。

【0048】

サイングッズ情報データベース３１は、ユーザに提供されたサイングッズ（サイン入りユニフォーム）の管理番号、提供先のユーザの会員番号、当該サイングッズの写真のメタデータ、保存先ＵＲＬ等のデータを記憶している。

【0049】

ユーザ情報データベース３２は、上記ファンクラブの会員であるユーザに関する情報を記憶する。具体的には、ユーザ情報データベース３２は、氏名、会員番号、メールアドレス、ユーザＩＤ、パスワード、会社名、電話番号、住所（グッズ発送先）、年齢（層）、性別等の情報をユーザ毎に記憶している。

【0050】

類似画像情報データベース３３は、後述するユニフォーム画像解析処理において、上記サイングッズ情報データベース３１に対応するユニフォーム画像との類似度が高いと判定された画像のＵＲＬや、当該画像の検索日、アップロード日、対応する会員番号等の情報を記憶している。

【0051】

これら各データベースは、後述する画像解析サーバ１００による、サイン入りユニフォーム画像の学習処理及び解析処理において、必要に応じて相互に参照されて用いられる。

【0052】

また、これらデータベースの他、記憶部１８のファイルシステムには、上述の通り、上記サイングッズ情報データベースに対応するサイン入りユニフォームの写真ファイルの他、インターネット上から収集された多数のサイン入りユニフォームの写真ファイル、及び、後述する学習処理に用いられるために生成された多数の学習用画像ファイルも記憶される。またこれらのファイルは、画像解析サーバ１００外のクラウド上に記憶され使用のたびにダウンロードされてもよい。

【0053】

［画像解析サーバの動作］
次に、以上のように構成されたユニフォーム画像解析システムにおける画像解析サーバ１００の動作について説明する。当該動作は、画像解析サーバ１００のＣＰＵ１１及び通信部１９等のハードウェアと、記憶部１８またはＲＡＭ１３に記憶されたソフトウェアとの協働により実行される。以下の説明では、便宜上、ＣＰＵ１１を動作主体とする。

【0054】

（サイン入りユニフォーム画像学習処理）
まず、サイン入りユニフォーム画像の学習処理について説明する。図４は、画像解析サーバによる学習処理の流れを示したフローチャートである。

【0055】

まずＣＰＵ１１（ＡＩエンジン）は、学習データを用意する（ステップ１１）。本実施形態では、学習に利用可能なサイン入りユニフォーム画像がほとんど存在しないため、代わりに大量の合成画像を作成する。図５は、学習用画像の生成手法を示した図である。

【0056】

ＣＰＵ１１はまず、同図（Ａ）に示すような、インターネット上のユニフォームの画像を収集（数百枚単位）し、同図（Ｂ）に示すように、当該画像からユニフォームの一部分（破線矩形部分）のみを切り抜く。

【0057】

このとき、ＣＰＵ１１は、ユニフォームのうち、胸の中央部分のロゴや文字の少なくとも一部が上部に含まれるような領域を切り抜く。これは、ユニフォームに書かれるサインは、胸の中央部分のロゴや文字の下部に書かれる場合が多いため、サイン画像と合成した場合に当該ロゴや文字も含まれるようにするためである。

【0058】

続いてＣＰＵ１１は、同図（Ｂ）に示すユニフォームの切り抜き画像上に、同図（Ｃ）に示すようなサインの画像を合成し、同図（Ｄ）に示すような合成画像を生成する。このときＣＰＵ１１は、単一のサインを合成した合成画像を生成するだけでなく、複数の異なる人のサインを合成してもよい。その場合、複数のサインは様々な位置（文字やロゴに対する位置）や方向（斜めに配置等）に配置され得る。また、各サインについて、色の濃淡を様々に変更させて合成してもよい。

【0059】

続いてＣＰＵ１１は、同図（Ｅ）に示すように、上記合成画像に、画像の変換処理（回転、台形補正、明るさ補正、色補正、ぼかし、画質補正等）を行う。

【0060】

そしてＣＰＵ１１は、同図（Ｆ）に示すように、変換後の合成画像からサイン領域を切り抜くことで、学習用（サイン領域）画像を生成する。サイン領域の切り抜きは、ディープラーニングを用いた一般的な物体検出の手法をサイン画像についてＡＩエンジンに学習させることで可能となる。

【0061】

ここでＣＰＵ１１は、同図（Ｆ）に示すように、サイン領域の切り抜きの際に、サインの上下左右の各端部のわずかに外側に各辺を有する矩形領域Ｒ１を所定の辺方向（同図の例では上辺方向）に所定割合（例えば１０％）だけ伸長させた矩形領域Ｒ２の画像を切り抜く。これは、上述の通りユニフォーム上のサインはユニフォームのロゴや文字、模様等の下部に（または重なって）書かれる場合が多いことから、ＡＩエンジンにサインの画像のみならずその上部のユニフォームのロゴや文字、模様等も併せて学習させるためである。

【0062】

以上の処理を繰り返しおこなうことで、ユニフォームにサインを合成した学習用画像を多種多様な組み合わせで生成することができる。

【0063】

図４に戻り、ＣＰＵ１１は続いて、上記学習用画像からデータの特徴量の傾向をディープラーニングにより学習して学習モデルを生成する（ステップ１２）。

【0064】

具体的には、ＣＰＵ１１は、上記学習用画像について、あるサイン入りユニフォームについて、画像の変換処理（上述の回転や補正）だけ異なる複数の画像は、同一のサイン入りユニフォームであることから、それらの特徴量（特徴ベクトル）は似たベクトルになるようにＡＩエンジンを学習させる。

【0065】

またＣＰＵ１１は、画像の変換処理のみならずユニフォーム上におけるサインの位置や方向も異なる複数の画像は、異なるサイン入りユニフォームであることから、それらの特徴量（特徴ベクトル）は異なるベクトルになるようにＡＩエンジンを学習させる。

【0066】

またＣＰＵ１１は、上記のサイン入りユニフォームとは全く異なるサインが書かれたユニフォームの画像と、上記各画像の特徴量（特徴ベクトル）は、異なるベクトルになるようにＡＩエンジンを学習させる。

【0067】

上記のように学習モデルを生成すると、最後にＣＰＵ１１は、学習に用いていないデータに対する予測結果を評価する（ステップ１３）。

【0068】

本実施形態では、上述した合成画像に加えて、実際のサイン入りユニフォームを撮影した画像をデータベースに登録し、当該実際のサイン入りユニフォームの画像をクエリ画像として与え、類似画像上位k(k=1,3,5,10)個の画像のなかに、クエリ画像と同じユニフォーム画像が含まれている割合を評価値とした。その結果、k=1の場合はやや評価値は低かったものの、k=3の場合は91%、k=5の場合は96%、k=10の場合は97%の評価値が得られた。

【0069】

（サイン入りユニフォーム画像解析処理）
次に、以上のように生成された学習モデルを用いた、サイン入りユニフォーム画像の検索処理について説明する。図６は、画像解析サーバ１００による画像解析処理の流れを示したフローチャートである。

【0070】

同図に示すように、まずＣＰＵ１１は、管理者端末２００からサイングッズ画像解析要求を受信したか否かを判断する（ステップ２１）。

【0071】

当該サイングッズ画像解析要求は、画像解析サーバ１００が提供する解析要求画面を介して受信される。図７は、管理者端末２００に表示される解析要求画面の例を示した図である。管理者端末２００は、ブラウザを介して当該画面へアクセスする。

【0072】

同図に示すように、当該解析要求画面は、解析対象領域７１と、解析結果領域７２とを有する。解析対象領域７１は、解析対象の画像を表示する解析対象画像欄７３を有する。解析結果領域７２は、解析結果として検索された類似画像を表示する類似画像欄７４と、当該類似画像の類似度、当該画像の管理番号、及び当該画像が提供されたユーザに関する情報（氏名または会員番号）を表示する類似画像情報欄７５とを有する。

【0073】

管理者が、上記解析対象領域７１に、例えばフリーマーケットサイト等のインターネット上のサイトで発見された解析対象のサイン入りユニフォーム画像をドラッグアンドドロップすると、当該画像が画像解析サーバ１００へアップロードされるとともに、上記サイングッズ画像解析要求が画像解析サーバ１００へ送信される。

【0074】

サイングッズ画像解析要求を受信したと判断した場合（ステップ２１のＹｅｓ）、ＣＰＵ１１は、ＡＩエンジンにより、アップロードされた画像からサイン箇所を検出する（ステップ２２）。

【0075】

続いてＣＰＵ１１は、ＡＩエンジンにより、上記図５（Ｆ）で説明したのと同様に、検出したサイン箇所を囲う矩形領域（サインの上下左右の各端部のわずかに外側に各辺を有する矩形領域）の上辺を所定割合（１０％）伸長させた矩形領域の画像（サイン領域画像）を切り抜く（ステップ２３）。

【0076】

ここでＣＰＵ１１は、１つの画像から複数のサイン（異なる人のサイン）が検出された場合、当該複数のサインをまとめて囲う領域の画像を上記サイン領域画像として切り抜く。これは、複数の人が各ユニフォームにサインする場合、各サインを個別に切り抜いてしまうと、複数の人がサインしたユニフォームが複数存在する場合に、個々のサイン自体は似ているため、実際には各サインの配置が異なる別々のユニフォームであるにもかかわらず誤って類似度が高く算出されてしまう可能性があるためである。

【0077】

続いてＣＰＵ１１は、上記切り抜いたサイン領域画像から特徴量（特徴ベクトル）を抽出する（ステップ２４）。

【0078】

続いてＣＰＵ１１は、上記サイングッズ情報データベース３１上のいずれか１つのユニフォーム画像を上記ファイルシステムから取得する（ステップ２５）。

【0079】

続いてＣＰＵ１１は、データベース上のユニフォーム画像について、上記解析対象のユニフォーム画像と同様に、サイン箇所を検出し、検出したサイン箇所を囲う領域の上辺を所定割合（１０％）伸長させた領域のサイン領域画像を切り抜き、切り抜いたサイン領域画像から特徴量（特徴ベクトル）を抽出する（ステップ２６）。

【0080】

続いてＣＰＵ１１は、上記解析対象の画像のサイン領域画像の特徴量と、上記サイングッズ情報データベース３１上の画像のサイン領域画像の特徴量とを比較することで、両画像の類似度を算出する（ステップ２７）。

【0081】

続いてＣＰＵ１１は、解析対象のユニフォーム画像のサイン領域画像と、上記サイングッズ情報データベース３１上の全てのユニフォーム画像のサイン領域画像との類似度を算出したか否かを判断する（ステップ２８）。

【0082】

すべてのサイン領域画像との類似度を算出していないと判断した場合（ステップ２８のＮｏ）、ＣＰＵ１１は新たに上記サイングッズ情報データベース３１上のユニフォーム画像を取得し、上記ステップ２５～ステップ２８の処理を繰り返す。

【0083】

すべてのサイン領域画像との類似度を算出したと判断した場合（ステップ２８のＹｅｓ）、ＣＰＵ１１は、類似度が上位所定数（例えば５位以内）のサイン領域画像の切り抜き元のユニフォーム画像の管理番号と、それに対応するユーザの識別情報（氏名または会員番号）を上記サイングッズ情報データベース３１及びユーザ情報データベース３２から取得する（ステップ２９）。

【0084】

そしてＣＰＵ１１は、類似度が上位の各画像、類似度、管理番号、提供先のユーザのユーザ識別情報（氏名または会員番号）を示す情報を管理者端末２００のブラウザへ送信する（ステップ３０）。

【0085】

図７に示すように、解析結果領域７２の類似画像欄７４には上位５件のユニフォーム画像が表示され、その隣の類似画像情報欄７５には、当該画像の類似度、当該画像の管理番号、及び当該画像が提供されたユーザの氏名が表示される。

【0086】

これにより管理者は、解析対象のユニフォーム画像と類似度が極めて高いユニフォーム画像が見つかった場合には、当該ユニフォーム画像がインターネット上に転売目的でユーザによりアップロードされていると判断し、必要に応じてそのユーザの利用を制限したり、当該画像がアップロードされているサイトの運営元に掲載を中止させたりする等の処理を取ることができる。

【0087】

［まとめ］
以上説明したように、本実施形態によれば、正規に譲渡された著名人のサイン付きの物品が転売目的でインターネット上に公開されたことを検出しその公開者の情報を管理者に把握させることができる。

【0088】

また画像間の類似度を算出する際に、単にサイン領域を囲う矩形領域ではなく当該矩形領域をいずれかの方向（例えば上辺方向）に伸長させた矩形領域を切り抜くことで、そのサインに隣接する領域（例えば上部）に存在するロゴ等の図柄や文字からも特徴量を抽出することで、類似度算出の精度を向上させることができる。

【0089】

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

【0090】

上述の実施形態において、画像解析サーバ１００は、類似度が上位５件のユニフォーム画像について類似度、管理番号、ユーザ識別情報を出力していた。これに加えて画像解析サーバ１００は、当該出力されたユーザ識別情報に対応する（当該ユーザに提供された）他のユニフォーム画像が存在するか否かを判定し、当該他ユニフォーム画像が存在すると判定した場合に、当該他のユニフォーム画像に関する情報も出力してもよい。これにより、サイン入りユニフォームを転売目的でインターネット上に公開したユーザが今後に転売目的で公開する可能性のある他のサイン入りユニフォームを管理者に把握させることができる。

【0091】

上述の実施形態では、サイン入りユニフォームの画像が解析対象とされたが、解析対象となるサイン入りグッズはユニフォームに限られず、帽子、シューズ、バッグ等の衣服・アパレル製品の他、ボール、書籍、写真、ポスター、ＣＤ／ＤＶＤジャケット等、スポーツ選手、アーティスト、俳優等の著名人がサインを書くことが可能なあらゆる物品が解析対象となり得る。

【0092】

また上述の実施形態では、ユニフォームから検出されたサインの上下左右の各端部のわずかに外側に各辺を有する矩形領域を上辺方向に１０％だけ伸長させた矩形領域の画像を切り抜いていた。しかし、当該切り抜く領域の伸長させる方向も、上記の解析対象となる物品に応じて適宜変更される。

【0093】

例えばサイン入り帽子（キャップ）が解析対象となる場合、帽子の鍔（バイザー）にサインが書いてあり、その上のクラウン部分に文字やロゴが描かれていることが多い。そのため、図８に示すように、サイン入り帽子の画像からサイン領域を切り抜く際は、サインＳを囲う矩形領域Ｒ１の上辺を例えば２倍に伸長させた矩形領域Ｒ２をサイン領域画像として切り抜くことで、ロゴＬも一緒に切り抜かれて特徴量比較の対象とすることができる。

【0094】

さらに、画像解析サーバ１００は、単一種類のサイン入りグッズ（ユニフォーム）ではなく複数種類のサイン入りグッズの解析に対応可能であってもよい。この場合、上記サイングッズ情報データベース３１には、サイングッズの種別を示す情報（ユニフォーム、帽子、ボール、書籍、ポスター等）と、サイン領域を囲う矩形領域を伸長させる辺方向（及び割合）を示す情報とを対応付けて記憶してもよい。当該情報は例えば、上述したように、ユニフォームなら上辺方向に１０％、帽子なら上辺方向に１００％、野球ボールなら縫い目の間にサインが書かれることが多いためその縫い目を含めて切り取れるように上下辺または左右辺に５０％等の情報であり得る。画像解析サーバ１００は、各サイングッズから検出した産領域を囲う矩形領域を、当該サイングッズに対応する辺方向に伸長させた矩形領域をサイン領域画像として切り抜いて類似度を算出する。これにより、サインが書かれた様々な物品について類似度算出の精度を向上させることができる。

【0095】

上述の実施形態では、画像解析サーバ１００は、類似度の計算にディープラーニングにより学習されたＡＩエンジンを用いたが、これに代えて画像処理を用いてもよい。すなわち画像解析サーバ１００は、比較対象の２つのサイン領域画像から局所的に類似している部分を検出する手法により類似度を計算してもよい。

【0096】

上述の実施形態で示した画像解析サーバ１００は、その機能が複数のサーバや情報処理装置に分散されたシステムとして構成されていても構わない。例えばＡＩエンジン部分は他のサーバが担っても構わない。

【0097】

本願の特許請求の範囲に記載された発明のうち、「情報処理方法」と記載された発明は、その各ステップを、ソフトウェアによる情報処理によりコンピュータ等の少なくとも１つの装置が自動的に行うものであり、人間がコンピュータ等の装置を用いて行うものではない。すなわち、当該「情報処理方法」は、コンピュータ・ソフトウェアによる情報処理方法であって、コンピュータという計算道具を人間が操作する方法ではない。

【符号の説明】

【0098】

１１…ＣＰＵ
１８…記憶部
１９…通信部
３１…サイングッズ情報データベース
３２…ユーザ情報データベース
３３…類似画像情報データベース
１００…画像解析サーバ
２００…管理者端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-08-23

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶する記憶部と、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出し、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出し、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出し、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力する、
制御部と
を具備する情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記制御部は、前記第１サイン領域画像及び前記第２サイン領域画像として、前記サインの上下左右の各端部のわずかに外側に各辺を有する第１矩形領域を所定の辺方向に所定割合だけ伸長させた第２矩形領域の画像を切り抜く
情報処理システム。

【請求項3】

請求項２に記載の情報処理システムであって、
前記記憶部は、前記物品の種別を示す情報と、前記第１矩形領域を伸長させる辺方向を示す情報とを対応付けて記憶し、
前記制御部は、前記第１矩形領域を前記物品の種別に対応する辺方向に伸長させた第２矩形領域の画像を切り抜く
情報処理システム。

【請求項4】

請求項３に記載の情報処理システムであって、
前記制御部は、前記サインが書かれていない前記物品の画像に前記サインの画像を合成し、当該サインを囲う前記第１矩形領域を前記物品の種別に対応する辺方向に伸長させた前記第２矩形領域の画像を切り抜くことで、複数の学習用画像を生成し、当該複数の学習用画像を用いた学習により前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出する学習モデルを生成する
情報処理システム。

【請求項5】

請求項１乃至４のいずれかに記載の情報処理システムであって、
前記制御部は、前記出力されたユーザ識別情報に対応する他の第１物品画像が存在するか否かを判定し、当該他の第１物品画像が存在すると判定した場合に、当該他の第１物品画像に関する情報を出力する
情報処理システム。

【請求項6】

請求項１乃至４のいずれかに記載の情報処理システムであって、
前記物品には複数の異なる人のサインが書かれており、
前記制御部は、前記第１物品画像及び前記第２物品画像から前記複数のサインをまとめて囲う領域の画像を前記第１サイン領域画像及び前記第２サイン領域画像として切り抜く
情報処理システム。

【請求項7】

人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶し、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出し、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出し、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出し、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報とを出力する、
コンピュータが実行する情報処理方法。

【請求項8】

情報処理装置に、
人の直筆のサインが書かれた所定の物品を撮像した複数の第１物品画像と、当該物品を譲渡されたユーザを識別する各ユーザ識別情報とを対応付けて記憶するステップと、
いずれかの前記第１物品画像から前記サインを検出し、当該検出されたサインを囲う領域の第１サイン領域画像を切り抜き、当該第１サイン領域画像から第１特徴量を抽出するステップと、
インターネット上から取得された、人の直筆のサインが書かれた前記物品を撮像した第２物品画像から前記サインを検出し、当該サインを囲う領域の第２サイン領域画像を切り抜き、当該第２サイン領域画像から第２特徴量を抽出するステップと、
前記抽出した第１特徴量と前記第２特徴量とを基に、前記第１サイン領域画像と前記第２サイン領域画像との類似度を算出するステップと、
前記算出した類似度に関する情報と、前記第１サイン領域画像の切り抜き元の前記第１物品画像に対応するユーザ識別情報を出力するステップと
を実行させるプログラム。