特開 2024-58725 情報処理システムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058725

(43)【公開日】2024-04-30

(54)【発明の名称】情報処理システムおよび情報処理装置

(51)【国際特許分類】

   A63F 9/30 20060101AFI20240422BHJP

   A63F 9/00 20060101ALI20240422BHJP

   G06T 7/00 20170101ALI20240422BHJP

   G06V 10/774 20220101ALI20240422BHJP

   G06Q 50/10 20120101ALI20240422BHJP

【ＦＩ】

A63F9/30 502C

A63F9/00 512Z

G06T7/00 350B

G06V10/774

G06Q50/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022166000

(22)【出願日】2022-10-17

(71)【出願人】

【識別番号】000132471

【氏名又は名称】株式会社セガ

(74)【代理人】

【識別番号】110002273

【氏名又は名称】弁理士法人インターブレイン

(72)【発明者】

【氏名】高梨 真

(72)【発明者】

【氏名】武田 元気

(72)【発明者】

【氏名】瀬戸 大樹

(72)【発明者】

【氏名】木俣 孝一

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC18

5L050CC18

5L096AA02

5L096AA06

5L096CA05

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

【課題】 物品取得ゲーム装置に収容される景品を特定する手段について実効性を高める技術を提供することにある。
【解決手段】 情報処理システムは、物品取得ゲーム装置において獲得対象となる物品の情報を記憶するデータベースから、物品ＩＤおよび物品ＩＤにより特定される物品の宣伝画像を取得する宣伝画像取得部と、物品ＩＤを目的変数とし、宣伝画像を説明変数とする第１の教師データに基づいて、物品の撮影画像から物品ＩＤを特定する判定モデルを生成するモデル学習部と、物品取得ゲーム装置の内部に収容されている物品の撮影画像および判定モデルに基づいて、収容されている物品の物品ＩＤを特定する物品特定部と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

物品取得ゲーム装置において獲得対象となる物品の情報を記憶するデータベースから、物品ＩＤおよび前記物品ＩＤにより特定される前記物品の宣伝画像を取得する宣伝画像取得部と、
前記物品ＩＤを目的変数とし、前記宣伝画像を説明変数とする第１の教師データに基づいて、前記物品の撮影画像から前記物品ＩＤを特定する判定モデルを生成するモデル学習部と、
前記物品取得ゲーム装置の内部に収容されている物品の撮影画像および前記判定モデルに基づいて、前記収容されている物品の前記物品ＩＤを特定する物品特定部と、を備えることを特徴とする情報処理システム。

【請求項2】

前記宣伝画像を加工することにより派生画像を生成するデータ加工部、を更に備え、
前記モデル学習部は、更に、加工された前記宣伝画像に対応する前記物品ＩＤを目的変数とし、前記派生画像を説明変数とする第２の教師データに基づいて、前記判定モデルを学習させることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記データ加工部は、前記宣伝画像における物品領域以外の背景画像を加工し、かつ／または前記宣伝画像における物品領域の一部に前景画像を重ねることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記データ加工部は、前記物品取得ゲーム装置に設けられた撮影手段で撮影された撮影画像を用いて派生画像を生成することを特徴とする請求項２に記載の情報処理システム。

【請求項5】

前記物品取得ゲーム装置に第１物品および１又は複数の第２物品が収容される場合において、
前記データ加工部は、前記第１物品の宣伝画像に対して前記１又は複数の第２物品の画像を含めることにより、前記第１物品の派生画像を生成し、
前記モデル学習部は、前記第２物品の画像を含む前記第１物品の派生画像に基づいて、前記判定モデルを学習させることを特徴とする請求項２に記載の情報処理システム。

【請求項6】

前記物品特定部は、前記撮影画像に含まれる被写体が、獲得対象となる物品以外の非対象物であるときには、前記判定モデルにより前記被写体の物品ＩＤを特定したとしても前記特定された物品ＩＤを無効化することを特徴とする請求項１に記載の情報処理システム。

【請求項7】

前記物品取得ゲーム装置で撮影されたプレイ空間画像から、前記収容されている物品の前記撮影画像を抽出する画像抽出部を、更に備え、
前記モデル学習部は、更に、前記物品特定部により特定された前記物品ＩＤを目的変数とし、抽出された前記撮影画像を説明変数とする第３の教師データに基づいて、前記判定モデルを学習させることを特徴とする請求項１に記載の情報処理システム。

【請求項8】

物品取得ゲーム装置において獲得対象となる物品の情報を記憶するデータベースから、物品ＩＤおよび前記物品ＩＤにより特定される前記物品の宣伝画像を取得する宣伝画像取得部と、
前記物品ＩＤを目的変数とし、前記宣伝画像を説明変数とする第１の教師データに基づいて、前記物品の撮影画像から前記物品ＩＤを特定する判定モデルを生成するモデル学習部と、を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、景品等の物品を獲得する物品取得ゲームに関する。

【背景技術】

【0002】

多くのゲームセンターには、クレーンゲーム装置（物品取得ゲーム装置）が設置されている。クレーンゲーム装置の筐体内にはステージ（ゲームフィールド）が設けられ、ぬいぐるみやお菓子などの景品（物品）が載置される。プレイヤは、横方向ボタンおよび縦方向ボタンを駆使してクレーンを操作する。クレーンで景品を掴み、落下口に景品を移動できれば、プレイヤは景品を獲得できる。

【0003】

ゲームセンターなどの店舗は、どのクレーンゲーム装置にどの景品が収容されているかを把握する必要がある。そのため、店舗のオペレータがクレーンゲーム装置に景品を投入するときに、店舗端末を操作して投入した景品を登録する。この手入力による登録には、時間がかかる。

【0004】

本発明者らは、景品登録を自動化する方法として、ＡＩ（Artificial Intelligence）技術を用いることを検討した。クレーンゲーム装置に設置されているカメラで、投入された景品を撮影し、その画像を解析して景品ＩＤを特定する。景品ＩＤを自動的に特定すれば、手入力は必要なくなる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６８４４５８６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＡＩ技術を用いた景品特定には、教師ありの機械学習によって得られる判定モデルを用いることが想定される。機械学習のための教師データとして、景品毎に学習用の大量のサンプル画像を用意する必要がある。また、クレーンゲーム装置用に提供される景品は、数千種類もある。このため、ＡＩ技術を用いて景品を特定する上では、判定モデルの学習のための準備負担が非常に大きい。

【0007】

本発明は、上記背景に鑑みて完成された発明であり、その主たる目的は、クレーンゲーム装置に収容される景品を特定する手段について実効性を高める技術を提供することにある。

【課題を解決するための手段】

【0008】

本発明のある態様における情報処理システムは、物品取得ゲーム装置において獲得対象となる物品の情報を記憶するデータベースから、物品ＩＤおよび物品ＩＤにより特定される物品の宣伝画像を取得する宣伝画像取得部と、物品ＩＤを目的変数とし、宣伝画像を説明変数とする第１の教師データに基づいて、物品の撮影画像から物品ＩＤを特定する判定モデルを生成するモデル学習部と、物品取得ゲーム装置の内部に収容されている物品の撮影画像および判定モデルに基づいて、収容されている物品の物品ＩＤを特定する物品特定部と、を備える。

【0009】

本発明のある態様における情報処理装置は、物品取得ゲーム装置において獲得対象となる物品の情報を記憶するデータベースから、物品ＩＤおよび物品ＩＤにより特定される物品の宣伝画像を取得する宣伝画像取得部と、物品ＩＤを目的変数とし、宣伝画像を説明変数とする第１の教師データに基づいて、物品の撮影画像から物品ＩＤを特定する判定モデルを生成するモデル学習部と、を備える。

【発明の効果】

【0010】

本発明によれば、物品取得ゲーム装置に収容されている景品を特定する手段を有効活用しやすくなる。

【図面の簡単な説明】

【0011】

【図1】ゲームシステムのハードウェア構成図である。

【図2】クレーンゲーム装置の全体構成を概略的に示す図である。

【図3】店舗支援サーバの機能ブロック図である。

【図4】クレーンゲーム装置の機能ブロック図である。

【図5】宣伝画像の例を示す図である。

【図6】学習フェーズにおける店舗支援サーバの処理過程を示すフローチャートである。

【図7】全体画像から部分画像を抽出する第１方式を示す模式図である。

【図8】全体画像から部分画像を抽出する第２方式を示す模式図である。

【図9】運用フェーズにおける店舗支援サーバの処理過程を示すフローチャートである。

【図10】店舗データ記憶部のデータ構成図である。

【図11】派生画像の第１例を示す図である。

【図12】派生画像の第２例を示す図である。

【図13】派生画像の第３例を示す図である。

【図14】非対象物を含む部分画像の例を示す図である。

【図15】ターゲット景品の部分画像の例を示す図である。

【図16】変形例３におけるシーケンスを示す図である。

【図17】変形例７におけるシーケンスを示す図である。

【発明を実施するための形態】

【0012】

本実施形態では、ＡＩ技術を用いてクレーンゲーム装置内に収容される景品を特定する。処理動作は、学習フェーズと運用フェーズに分けられる。

【0013】

学習フェーズでは、景品のサンプル画像を教師データとする機械学習を行って、判定モデルを生成する。本実施形態では、すべての景品に必ずカタログデータが用意されていることに着目して、カタログデータの宣伝画像を各景品のサンプル画像として用いることとする。カタログデータを用いれば、撮影しなくてよいので教師データを準備する手間が減る。また、多くの景品について学習した判定モデルは、いろいろな景品を判定できる。

【0014】

運用フェーズで、クレーンゲーム装置には任意の景品が投入される。投入された景品は、クレーンゲーム装置に備え付けられたカメラで撮影される。撮影画像と判定モデルを使えば、その景品を自動的に特定できる。また、どのクレーンゲーム装置にどの景品があるかに関する登録処理も自動化できる。

【0015】

図１は、ゲームシステムのハードウェア構成図である。
ゲームシステム１００においては、店舗支援サーバ１０２に対して、ユーザ端末１１０ａ・・・１１０ｍ（以下、まとめて言うときや特に区別しないときには「ユーザ端末１１０」と総称する）と、店舗側に設けられた店舗内サーバ１０７と、店舗端末１０９とがインターネット１０６を介して接続される。複数のクレーンゲーム装置１０４ａ、１０４ｂ・・・１０４ｎ（以下、まとめて言うときや特に区別しないときには「クレーンゲーム装置１０４」と総称する）は、店舗内サーバ１０７とインターネット１０６を介して、店舗支援サーバ１０２に接続する。

【0016】

クレーンゲーム装置１０４は、遊園地やゲームセンターなどの遊戯施設に設置される。以下では、遊戯施設の例として店舗について説明する。店舗には、店舗内ＬＡＮ（Local area network）が設けられており、クレーンゲーム装置１０４と店舗内サーバ１０７を接続する。ＬＡＮは、無線通信または有線通信のいずれの方式であっても構わない。店舗内サーバ１０７は、主にインターネット１０６を介したデータ通信における中継の役割を果たす。店舗内サーバ１０７は、店舗におけるデータ管理の機能を有していてもよい。店舗端末１０９は、店舗内ＬＡＮとも接続可能である。店舗端末１０９は、スマートフォン、タブレット端末およびラップトップＰＣなどのいずれでもよい。クレーンゲーム装置１０４は、ゲーム装置ＩＤによって識別される。クレーンゲーム装置１０４は、店舗内サーバ１０７を介さずに直接インターネット１０６に接続していてもよい。

【0017】

本実施形態におけるユーザ端末１１０（通信端末）は、スマートフォンを想定している。ユーザ端末１１０は、タブレット端末やラップトップＰＣであってもよい。ユーザ端末１１０とインターネット１０６は無線接続されるが、有線接続されてもよい。

【0018】

店舗支援サーバ１０２は、店舗とプレイヤに対する各種サービスを提供する。本実施形態では、店舗支援サーバ１０２は、判定モデルを生成する。店舗支援サーバ１０２は、「どの店舗の、どのクレーンゲーム装置１０４に、どの景品が入っているか」という情報を管理する。店舗支援サーバ１０２は公開サーバであり、店舗端末１０９などからのアクセスを受け付ける。また、プレイヤ向けのサービスに関して、ユーザ端末１１０からのアクセスも受け付ける。これにより、プレイヤは、クレーンゲーム装置１０４に関して便利な情報を得ることができる。

【0019】

景品データベース１０１は、インターネット１０６に接続している。景品データベース１０１は、景品の販売促進のためのカタログデータを保持しており、店舗端末１０９などからの要求に応じてこれを提供する。店舗支援サーバ１０２は、ネットワーク１０３を介して景品データベース１０１と接続している。ネットワーク１０３は、ＬＡＮあるいはインターネットなどである。店舗支援サーバ１０２は、景品データベース１０１からカタログデータを取得して、その中に含まれる宣伝画像を教師データのサンプル画像として利用する。

【0020】

図２は、クレーンゲーム装置１０４の全体構成を概略的に示す図である。
クレーンゲーム装置１０４は、直方体形状の基台１１２と、基台１１２上に設けられた箱型の景品収容部１１４を備える。景品収容部１１４は、店舗のオペレータによって入れられる景品を収容する。ここでいう「収容」は、特定の位置あるいは任意の位置に置くことを指す。また、景品がクレーン１１８で動かされ、景品収容部１１４内に残っている状態も「収容」されていることになる。景品収容部１１４の内方にプレイ空間Ｓが形成され、景品載置台１１６（ゲームフィールド）が設けられている。景品載置台１１６上には、ぬいぐるみや雑貨等の景品Ｐが配置される。景品載置台１１６の上方にはクレーン１１８が設けられる。クレーン１１８は、プレイ空間Ｓの前後左右および上下に移動でき、景品Ｐを把持／解放する。

【0021】

景品収容部１１４は、その前面および左右側面が透明なガラス張りとされており、前面は、開閉可能な扉になっている。外部からの景品Ｐの視認性が考慮されたものである。クレーンゲーム装置１０４の天井面にはカメラ１２２が設置される。カメラ１２２は、景品載置台１１６を上方から撮影する。背面にもカメラ１２２を設けて、プレイ空間全体を斜め上方から撮影する。一方のカメラ１２２だけ設けてもよいし、両方のカメラ１２２を設けてもよい。カメラ１２２は、アームなどに取り付けられてもよい。カメラ１２２は、撮影手段の例である。

【0022】

クレーンゲーム装置１０４の立柱１５０にはＬＥＤ（Light Emitting Diode）が配され、プレイ中に演出の一部として点灯する。景品収容部１１４の前面には扉１２４が設けられ、オペレータは景品Ｐを景品収容部１１４内に設置できる。

【0023】

景品載置台１１６は、第１領域１２６と第２領域１２８に区画される。それぞれの区画エリアが取り外し可能なパネルにより構成される。いずれか一方のパネルを取り外すことにより、景品Ｐを落下させる落下口１３０を形成できる。第１領域１２６に景品Ｐが載置され、第２領域１２８に落下口１３０が形成される場合、プレイヤは景品Ｐを第１領域１２６から第２領域１２８（落下口１３０）に移動できれば、景品Ｐを取得できる。

【0024】

基台１１２の内部には、落下口１３０から落下した景品Ｐを収容する景品ストック空間１３２が形成される。基台１１２の前面には、景品ストック空間１３２に落下した景品Ｐを取り出すための景品取出口１３４が形成される。落下口１３０の形態は、この例に限られない。

【0025】

基台１１２の前面側には操作卓１３６が設けられている。操作卓１３６にはコイン投入口１３８、ＩＣ（Integrated Circuit）カードリーダ１４０、操作部１４２および設定表示部１４４が設けられる。ゲーム開始に際し、プレイヤは、コイン投入口１３８にコインを投入するか、ＩＣカードリーダ１４０に電子マネーがチャージされたＩＣカードをタッチする。後者の場合、電子マネーによる支払処理が実行されるが、公知の技術であるため、その詳細については説明を省略する。

【0026】

操作部１４２は、プレイヤがクレーン１１８を移動させるための操作ボタン１４２ａ，１４２ｂを有する。操作部１４２は、プレイヤの操作に基づく入力信号を受け付ける「クレーン操作部」として機能する。操作ボタン１４２ａは、クレーン１１８を左右方向（Ｘ方向）に移動させるボタンであり、操作ボタン１４２ｂは、クレーン１１８を前後方向（Ｙ方向）に移動させるボタンである。変形例として、ジョイスティックによりクレーン１１８を前後左右に移動させてもよい。

【0027】

設定表示部１４４にはタッチパネルが設置される。設定表示部１４４は、オペレータからのゲームの設定情報の入力を受け付けるとともに、操作部１４２の操作方法やゲーム結果など、ゲームに関する情報を表示させる。クレーンゲーム装置１０４は、そのほかにもスピーカ（不図示）や外部接続端子等を備える。

【0028】

クレーン１１８は、景品Ｐを把持および解放可能なアーム１４６を有する。クレーン１１８はアーム１４６を開閉駆動するモータを含む。アーム１４６を開閉させることによって、景品Ｐを把持および解放する。

【0029】

クレーン１１８は、景品収容部１１４の上部に設置された図示略のガイドレールに沿って移動可能であり、クレーン駆動部１４８により駆動される。クレーン駆動部１４８は、クレーン１１８を横方向（Ｘ方向）および縦方向（Ｙ方向）に駆動する移動機構と、上下方向（Ｚ方向）に駆動する昇降機構を含む。移動機構は、Ｘ方向モータおよびＹ方向モータを含む。昇降機構は、Ｚ方向モータを含む。クレーン駆動部１４８により、クレーン１１８をプレイ空間Ｓの任意の位置に移動させることができる。なお、このような駆動機構については公知であるため、その詳細な説明は省略する。また、図示しないが、操作部１４２からの操作指示入力を受け付けるとともに、クレーン１１８、カメラ１２２、ＬＥＤ、設定表示部１４４、移動機構、昇降機構などを制御する制御部をクレーンゲーム装置１０４内に有している。

【0030】

図３は、店舗支援サーバ１０２の機能ブロック図である。
店舗支援サーバ１０２の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサ（Co-Processor）などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

【0031】

店舗支援サーバ１０２は、データ処理部１６２、データ格納部１６４および通信部１６０を含む。
通信部１６０は、店舗内サーバ１０７、クレーンゲーム装置１０４、店舗端末１０９およびユーザ端末１１０などとの通信処理を担当する。データ格納部１６４は各種データを格納する。データ処理部１６２は、通信部１６０により受信されたデータおよびデータ格納部１６４に格納されているデータに基づいて各種処理を実行する。データ処理部１６２は、通信部１６０およびデータ格納部１６４のインタフェースとしても機能する。

【0032】

通信部１６０は、各種データを送信する送信部１６６と、各種データを受信する受信部１６８を含む。

【0033】

データ処理部１６２は、宣伝画像取得部３００、モデル学習部３０２、データ加工部３０８、データ取得部３１２およびデータ提供部３１４を含む。

【0034】

宣伝画像取得部３００は、景品データベース１０１から景品ＩＤに対応づけられた宣伝画像を取得する。景品ＩＤは、景品を１つ１つ識別するＩＤ、または景品の種別を識別するＩＤである。景品ＩＤは、たとえばＪＡＮ（Japan Article Number code）コードである。具体的には、宣伝画像取得部３００は、カタログデータを取得して、そこに含まれる宣伝画像を抜き出す。本実施形態における「宣伝画像」とは、景品を示すために予め用意される画像であればよい。写真でもよいし、実物に近いイラストであってもよい。宣伝画像は、景品ＩＤに対応づけられた状態で、教師データ記憶部３３０に含まれる宣伝画像記憶部３３２に記憶される。なお、「景品」とは、「クレーンゲーム装置１０４において獲得対象となる物品」である。

【0035】

景品データベース１０１（図１参照）は、「クレーンゲーム装置１０４において獲得対象となる物品の情報を記憶するデータベース」である。景品データベース１０１の運営主体は、店舗支援サーバ１０２と同一でもよいし、別でもよい。景品の販売者によって運営されている場合もある。景品データベース１０１は、店舗などに景品に関する情報を提供する。景品データベース１０１が保持するカタログデータには、景品ＩＤに対応付けて、景品の名称、景品の特徴および価格など共に、宣伝材料写真（以下では、「宣伝画像」という。）も含まれている。店舗支援サーバ１０２は、景品データベース１０１からカタログデータを取得して、その中に含まれる宣伝画像を教師データのサンプル画像として利用する。

【0036】

モデル学習部３０２は、たとえば深層学習のニューラルネットワークを用いて機械学習を行う。モデル学習部３０２は、景品ＩＤを出力データ（目的変数）とし、宣伝画像を入力データ（説明変数）とする教師データに基づいて、景品の撮影画像から景品ＩＤを特定する判定モデルを生成する。

【0037】

データ加工部３０８は、宣伝画像を加工することにより派生画像を生成する。「派生画像」とは、宣伝画像を基礎として改変された画像である。派生画像は、教師データとして用いられる。つまり、いわゆる教師データの「水増し」が行われる。詳しくは、変形例１において後述する。

【0038】

データ取得部３１２は、クレーンゲーム装置１０４、店舗端末１０９およびユーザ端末１１０などから各種データを取得する。データ提供部３１４は、クレーンゲーム装置１０４、店舗端末１０９およびユーザ端末１１０などへ各種データを提供する。たとえば、データ提供部３１４は、クレーンゲーム装置１０４に判定モデルを提供する。

【0039】

データ格納部１６４は、教師データ記憶部３３０、判定モデル記憶部３３６、店舗データ記憶部３３８、景品データ記憶部３４０およびプレイヤデータ記憶部３４２を含む。

【0040】

教師データ記憶部３３０は、機械学習に用いられる教師データを記憶する。宣伝画像記憶部３３２と派生画像記憶部３３４は、教師データ記憶部３３０の一部である。宣伝画像記憶部３３２は、景品ＩＤに対応付けて宣伝画像を記憶する。派生画像記憶部３３４は、景品ＩＤに対応付けて派生画像を記憶する。いずれも、教師データとして用いられる。

【0041】

判定モデル記憶部３３６は、生成された判定モデルを記憶する。店舗データ記憶部３３８は、店舗に関するデータ（店舗ＩＤ、店舗名、住所、電話番号、メールアドレスおよび営業時間など）を記憶する。店舗データ記憶部３３８は、さらに各店舗において設置されているクレーンゲーム装置１０４の情報（たとえば、クレーンゲーム装置１０４の名称（店舗で付けた名前）、ゲーム装置ＩＤ、機種、通信の宛先となるアドレス情報、および収容されている景品の景品ＩＤなど）を記憶している。景品データ記憶部３４０は、景品に関するデータを記憶する。景品データ記憶部３４０は、たとえば、カタログデータ（景品の名称、景品の特徴、価格および宣伝画像など）を記憶する。プレイヤデータ記憶部３４２は、プレイヤ（ユーザ）に関するデータを記憶する。

【0042】

図４は、クレーンゲーム装置１０４の機能ブロック図である。
クレーンゲーム装置１０４のＣＰＵなどの各構成要素については、店舗支援サーバ１０２の場合と同様である。クレーンゲーム装置１０４は、コンピュータを有してもよいし、コンピュータに相当する機能を発揮する回路基板を有してもよい。

【0043】

クレーンゲーム装置１０４は、ユーザインタフェース処理部１８０、機構部１８２、データ処理部１８６、通信部１８４およびデータ格納部１８８を含む。
ユーザインタフェース処理部１８０は、各種の入力デバイスを介してプレイヤからの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。機構部１８２は、クレーン１１８や景品ストック空間１３２等の各種機構を駆動する。通信部１８４は、店舗内サーバ１０７、店舗支援サーバ１０２、店舗端末１０９およびユーザ端末１１０などとの通信処理を担当する。データ格納部１８８は各種データを格納する。データ処理部１８６は、ユーザインタフェース処理部１８０から入力されたデータ、通信部１８４により受信されたデータおよびデータ格納部１８８に格納されているデータに基づいて各種処理を実行する。データ処理部１８６は、機構部１８２、ユーザインタフェース処理部１８０、通信部１８４およびデータ格納部１８８のインタフェースとしても機能する。

【0044】

ユーザインタフェース処理部１８０は、プレイヤからの入力を受け付ける入力部１５２と、プレイヤに対して画像や音声等の各種情報を出力する出力部１９０を含む。入力部１５２は、操作部１４２（図２参照）に対応する。出力部１９０は、設定表示部１４４等への画像表示も実行する。

【0045】

通信部１８４は、店舗支援サーバ１０２などへ各種データを送信する送信部１９４と、店舗支援サーバ１０２などから各種データを受信する受信部１９６を含む。

【0046】

機構部１８２は、クレーン駆動部１４８およびカメラ１２２（撮影部）を含む。上述したように、クレーンゲーム装置１０４に設置されるカメラ１２２は、景品載置台１１６（ゲームフィールド）を撮影する。この撮影画像は、通常、景品の配置や移動経過の把握に用いられる。本実施形態では、撮影画像を景品特定のために用いる。クレーン駆動部１４８により、クレーン１１８の移動、アーム１４６の把持・解放が実行されることは上述の通りである。

【0047】

データ処理部１８６は、クレーン制御部１５４、移動判定部１５６、物品特定部４０４、データ取得部４１２およびデータ提供部４１４を含む。

【0048】

クレーン制御部１５４は、操作部１４２による操作指示にしたがって、クレーン駆動部１４８に移動・把持・解放を指示する。移動判定部１５６は、景品Ｐが落下口１３０に落下したか、いいかえれば、クレーンゲームの成否を判定する。

【0049】

物品特定部４０４は、クレーンゲーム装置１０４の内部に収容されている景品の撮影画像および判定モデルに基づいて、収容されている景品の景品ＩＤを特定する。物品特定部４０４は、画像抽出部４０５と非対象物判定部４０６を含む。

【0050】

画像抽出部４０５は、撮影画像の全体から一部の画像を抽出する。以下では、撮影画像の全体を「全体画像」といい、撮影画像の一部を「部分画像」という。全体画像も部分画像も、撮影画像であることに変わりはない。部分画像の抽出処理については、図７と図８に関連して後述する。

【0051】

非対象物判定部４０６は、撮影画像に含まれる被写体が、景品以外の装飾品などの非対象物であるかを判定する。非対象物については、変形例２において後述する。データ取得部４１２は、店舗支援サーバ１０２などから各種データを取得する。たとえば、データ取得部４１２は、店舗支援サーバ１０２から判定モデルを取得する。データ提供部４１４は、店舗支援サーバ１０２などへ各種データを提供する。

【0052】

データ格納部１８８は、判定モデル記憶部４３６を含む。判定モデル記憶部４３６は、店舗支援サーバ１０２から取得した判定モデルを記憶する。

【0053】

データ格納部１８８は、その他に、クレーンゲームのゲームプログラムのほか、設定およびゲームのプレイ結果などの使用状態に関する情報を格納する。

【0054】

図５は、宣伝画像５００の例を示す図である。
本実施形態では、景品を撮影して教師データを作るという手間をかけずに、景品のカタログデータに含まれる宣伝画像を利用する。販売されている景品および新しく発売される景品は、必ずカタログデータで紹介される。したがって、漏れなく宣伝画像を得ることができる。カタログデータを利用すれば、景品の実物を撮影する労力を省ける。

【0055】

景品Ａにおける宣伝画像の例を示す。カタログデータは、景品Ａを前方向から撮影した正面の宣伝画像５００ａ、左側方向から撮影した左側面の宣伝画像５００ｂ、後方向から撮影した背面の宣伝画像５００ｃ、右側方向から撮影した右側面の宣伝画像５００ｄ、上方向から撮影した平面の宣伝画像５００ｅ、および下方向から撮影した底面の宣伝画像５００ｆを含む。それぞれ、正投影図における正面図、左側面図、背面図、右側面図、平面図および底面図に相当する。

【0056】

宣伝画像は、いずれかの画像において景品Ａのすべての面を捉えている。また、販売促進が目的であるので画質が良い。したがって、教師データのサンプル画像としては、好適である。

【0057】

図６は、学習フェーズにおける店舗支援サーバ１０２の処理過程を示すフローチャートである。
新しい景品Ａが発売されるタイミングで、店舗支援サーバ１０２は、景品データベース１０１から景品Ａの景品ＩＤに対応付けられた景品Ａの宣伝画像を取得する。そして、店舗支援サーバ１０２は、取得した宣伝画像を教師データに加えて機械学習を行い、景品Ａを画像認識できる判定モデルを生成する。店舗支援サーバ１０２は、各店舗の各クレーンゲーム装置１０４に判定モデルを送信する。クレーンゲーム装置１０４は、受信した判定モデルに更新して、景品Ａを認識できる状態となる。

【0058】

店舗支援サーバ１０２の処理として、宣伝画像取得部３００は、景品データベース１０１から景品ＩＤに対応づけられた宣伝画像を取得し（Ｓ１０）、宣伝画像記憶部３３２に記憶する。モデル学習部３０２は、宣伝画像記憶部３３２において景品ＩＤに対応づけられている宣伝画像を教師データとして用いて、機械学習を行って判定モデルを生成する（Ｓ１２）。生成された判定モデルは、判定モデル記憶部３３６に記憶される。データ提供部４１４は、各クレーンゲーム装置１０４に判定モデルを提供する（Ｓ１４）。

【0059】

運用フェーズの説明に移る。運用フェーズで、店舗Ｘが景品Ａを購入し、これをクレーンゲーム装置１０４（Ｓ機）に投入したと想定する。クレーンゲーム装置１０４（Ｓ機）は、内部を撮影する。撮影された画像には、景品Ａが含まれる。クレーンゲーム装置１０４（Ｓ機）の判定モデルにこの画像を入力すると、景品Ａの景品ＩＤが出力される。これにより、景品Ａが認識され「Ｓ機に景品Ａが投入された。」と判断できる。クレーンゲーム装置１０４（Ｓ機）は、新たに特定した景品ＩＤを店舗支援サーバ１０２へ送信し、店舗支援サーバ１０２は、「店舗ＸのＳ機に景品Ａがある。」ことを把握し、その情報を管理する。この情報は、店舗端末１０９とユーザ端末１１０から参照される。店舗支援サーバ１０２は、「店舗ＸのＳ機に景品Ａがある。」ことに加えて、景品Ａの宣伝画像も閲覧させる。

【0060】

これにより、店舗のオペレータとプレイヤ（ユーザ）は、景品Ａの所在と共に、その具体的なイメージを得ることができる。オペレータは、Ｓ機の内部を見なくても、店舗端末１０９で検索すればいつでもＳ機に収容されている景品を確認できるので、Ｓ機まで行ってＳ機で行われているプレイを邪魔することがない。ユーザは、事前に店舗ＸのＳ機で景品Ａを狙えることがわかる。店舗をめぐって景品Ａを探す必要がなく、景品Ａが欲しいユーザにとって便利である。

【0061】

図７は、全体画像６００から部分画像６０２を抽出する第１方式を示す模式図である。
各クレーンゲーム装置１０４は、提供された判定モデルを用いて、景品を特定するための処理を行う。ここでは、店舗Ｘのクレーンゲーム装置１０４（Ｓ機）に景品Ａが収容されているものとする。この図は、プレイ空間Ｓを上方から撮影する天井面のカメラ１２２によって得られた撮影画像（全体画像６００）を表している。図示した全体画像６００では、景品載置台１１６に積まれた景品群の中に景品Ａが含まれている。

【0062】

画像抽出部４０５は、全体画像６００から複数の部分画像６０２を抽出する。各部分画像６０２は、判定モデルに入力される。第１方式では、図示するように、全体画像６００を格子パターンによって分割することによって複数の部分画像６０２が得られる。格子パターンは、均等間隔に並んだ縦線と横線からなる。隣り合った縦線と隣り合った横線に囲まれたそれぞれの正方形の部分が、部分画像６０２となる。部分画像６０２の縦辺と横辺の長さは、共にＬ（ピクセル）である。この図では、景品Ａを含む部分画像６０２ａが抽出される例を示している。物品特定部４０４は、部分画像６０２ａを判定モデルに入力し、判定モデルを用いた判定の演算を行えば、景品Ａの景品ＩＤが出力される。部分画像６０２を判定モデルに入力して判定の演算を行うことを、「部分画像６０２を判定モデルに適用する」と表現することもある。

【0063】

図示するように、景品Ａの全体が部分画像６０２ａに含まれる場合は、認識されやすい。一方、縦線あるいは横線による境界上にある景品の画像は、認識されにくい。景品Ａが縦線あるいは横線をまたいでいれば、うまく認識されないかもしれない。このように、境界上にある景品を認識するために、複数の格子パターンによる複数回の分割を行って、より多くの部分画像６０２を生成するようにしてもよい。

【0064】

たとえば、２回分割する方法と４回分割する方法が考えられる。２回分割する方法では、２回目の格子パターンで、１回目の格子パターンを横方向にＬ／２（ピクセル）だけずらすと共に、縦方向にもＬ／２（ピクセル）だけずらす。このようにすれば、１回目の格子パターンにおいて縦線と横線の交点付近にある景品を認識しやすくなる。４回分割する方法では、２回目の格子パターンは、１回目の格子パターンを横方向にＬ／２（ピクセル）だけずらす。３回目の格子パターンは、１回目の格子パターンを縦方向にＬ／２（ピクセル）だけずらす。４回目の格子パターンは、１回目の格子パターンを横方向と縦方向にそれぞれＬ／２（ピクセル）だけずらす。この場合は、縦線にまたがる景品や横線にまたがる景品についても、認識しやすくなる。

【0065】

第１方式は、上方から景品群をほぼ等距離で撮影できる天井面のカメラ１２２が適している。景品が他の景品の影に隠れにくく、遠近差による画像の歪みが小さいからである。第１方式の場合には、景品載置台１１６に置かれた景品を全体的に認識しやすい。

【0066】

図８は、全体画像６０１から部分画像６０２を抽出する第２方式を示す模式図である。
第２方式では、アーム１４６で把持された景品を認識する。つまり、物品特定部４０４は、プレイヤのターゲットとなった景品（以下、「ターゲット景品」という）を特定する。この図は、プレイ空間Ｓを斜め上方から撮影するカメラ１２２によって得られた全体画像６０１を表している。

【0067】

物品特定部４０４は、アーム１４６が景品を持ち上げたとき、クレーン制御部１５４からアーム１４６の三次元位置を取得する。物品特定部４０４は、三次元位置に基づいて、全体画像６０１におけるアーム１４６の先端部の位置を特定する。あるいは、物品特定部４０４は、画像認識によってアーム１４６の先端の位置を特定する。そして、物品特定部４０４は、先端の位置に基づいて部分画像６０２の範囲を決定する。先端の位置を、ほぼ部分画像６０２の中心にあわせる。部分画像６０２の大きさは、アーム１４６に抱えられた景品の全体が含まれる程度とする。画像抽出部４０５は、この範囲から部分画像６０２を抽出する。この例では、部分画像６０２ｂに、アーム１４６に抱えられた景品Ａが含まれる。

【0068】

図示していないが、最下位置でアーム１４６の先端が近づいた景品を認識してもよい。この場合も、物品特定部４０４は、ターゲット景品を特定することになる。

【0069】

この場合には、物品特定部４０４は、アーム１４６が最下位置まで降下したとき、クレーン制御部１５４からアーム１４６の三次元位置を取得する。物品特定部４０４は、上述したようにアーム１４６の先端の位置を特定する。そして、画像抽出部４０５は、先端の位置に基づいて部分画像６０２の範囲を特定し、その範囲から部分画像６０２を抽出する。このようにすれば、部分画像６０２に、アーム１４６の先端が触れる景品が含まれるようになる。

【0070】

上方から撮影すると、クレーン１１８が景品に重なり、抱えられた景品が写りにくい。一方、斜め上方から撮影すると、ターゲット景品がクレーン１１８の本体の影に隠れにくい。したがって、第２方式で部分画像６０２を抽出する場合は、アーム１４６の先端付近を斜め上方から写す背面のカメラ１２２が適している。

【0071】

図９は、運用フェーズにおける店舗支援サーバ１０２の処理過程を示すフローチャートである。
クレーンゲーム装置１０４が景品を特定した場合に、クレーンゲーム装置１０４のデータ提供部４１４は、検出データ（店舗ＩＤとゲーム装置ＩＤと景品ＩＤを含む）を店舗支援サーバ１０２に提供する。ゲーム装置ＩＤは、景品を検出したクレーンゲーム装置１０４を特定する。店舗ＩＤは、そのクレーンゲーム装置１０４が設置されている店舗を特定する。景品ＩＤは、検出された景品を特定する。たとえば、「店舗ＸのＳ機（クレーンゲーム装置１０４）に景品Ａがある。」ということが伝えられたことになる。

【0072】

店舗支援サーバ１０２のデータ取得部３１２は、検出データ（店舗ＩＤとゲーム装置ＩＤと景品ＩＤを含む）を取得する（Ｓ１６）。店舗ＩＤとゲーム装置ＩＤと景品ＩＤを対応付けて、店舗データ記憶部３３８に記憶する。これにより、店舗支援サーバ１０２は、「どの店舗の、どのクレーンゲーム装置１０４に、どの景品が入っているか」を管理できる。店舗データ記憶部３３８の検出データ構成については、図１０に関連して後述する。

【0073】

店舗支援サーバ１０２のデータ提供部３１４は、店舗端末１０９へ景品の情報を提供する（Ｓ１８）。具体的には、まず店舗端末１０９の送信部（不図示）が、店舗ＩＤを含む景品問い合わせを店舗支援サーバ１０２へ送信する。店舗支援サーバ１０２の受信部１６８が景品問い合わせを受信すると、データ提供部３１４は、店舗データ記憶部３３８を参照して、その店舗に設置されているクレーンゲーム装置１０４のゲーム装置ＩＤを特定する。データ提供部３１４は、店舗ＩＤとゲーム装置ＩＤの組を条件キーとして、店舗データ記憶部３３８の検出データを検索して、店舗ＩＤとゲーム装置ＩＤの組に対応する景品ＩＤを特定する。データ提供部３１４は、ゲーム装置ＩＤ毎に、収容されている景品の景品リストを生成する。景品リストには、景品の名称、景品の特徴、価格および宣伝画像などが含まれる。そして、データ提供部３１４は、景品リストの画面データを店舗端末１０９に提供する。店舗端末１０９の受信部（不図示）は、景品リストの画面データを受信して、店舗端末１０９の表示部（不図示）は、景品リストの画面を表示する。オペレータは、景品リストの画面を見て、店舗内のクレーンゲーム装置１０４毎に収容されている景品を確認することができる。オペレータは、宣伝画像を見ることができるので、具体的に景品をイメージできる。

【0074】

また、店舗支援サーバ１０２のデータ提供部３１４は、ユーザ端末１１０から問い合わせにも応じて、景品の情報を提供する（Ｓ１８）。プレイヤ（ユーザ）は、近隣の店舗など特定の店舗にあるクレーンゲーム装置１０４にどのような景品があるか知りたいことがある。プレイヤ（ユーザ）が店舗を指定して、景品の収容状況を問い合わせられるようにする。

【0075】

具体的手順として、店舗支援サーバ１０２の受信部１６８が、ユーザ端末１１０から店舗問い合わせを受信すると、データ提供部３１４は、店舗を選択するための店舗一覧の画面データをユーザ端末１１０に提供する。ユーザ端末１１０のデータ取得部（不図示）が店舗一覧の画面データを取得すると、ユーザ端末１１０の表示部（不図示）は、店舗一覧の画面を表示する。ユーザ端末１１０の受付部（不図示）は、この画面において店舗の選択を受け付ける。ユーザ端末１１０の送信部（不図示）は、店舗ＩＤを含む景品問い合わせを店舗支援サーバ１０２へ送信する。店舗支援サーバ１０２の受信部１６８が、ユーザ端末１１０から景品問い合わせを受信すると、データ提供部３１４は、店舗端末１０９からの問い合わせの場合と同様に、ゲーム装置ＩＤを特定し、店舗データ記憶部３３８の検出データを検索して、景品ＩＤを特定する。データ提供部３１４は、景品リストを生成し、景品リストの画面データをユーザ端末１１０に提供する。ただし、価格などユーザに非公開の情報は除かれる。ユーザ端末１１０の受信部（不図示）は、景品リストの画面データを受信して、ユーザ端末１１０の表示部は、景品リストの画面を表示する。プレイヤ（ユーザ）は、景品リストの画面を見て、店舗内のクレーンゲーム装置１０４に収容されている景品を確認することができる。オペレータの場合と同様に、プレイヤ（ユーザ）は、画像によって景品をイメージし、景品の収容状況を把握できる。

【0076】

ユーザ端末１１０において、店舗（店舗ＩＤ）のみならず、店舗内のクレーンゲーム装置１０４（ゲーム装置ＩＤ）を同時に指定できるようにしてもよい。その場合に、店舗支援サーバ１０２のデータ提供部３１４は、指定された店舗ＩＤとゲーム装置ＩＤの組を条件キーとして検索を行う。

【0077】

プレイヤ（ユーザ）が特定の景品を欲しい場合には、どの店舗へ行けば、その景品の獲得に挑戦できるかを知りたい。訪れたことがない店舗であっても、その景品を目当てに行くことがある。したがって、ユーザ端末１１０から、特定の景品がある店舗を問い合わせるようにしてもよい。

【0078】

具体的手順として、店舗支援サーバ１０２の受信部１６８が、ユーザ端末１１０から景品問い合わせを受信すると、データ提供部３１４は、景品を選択するための景品一覧の画面データをユーザ端末１１０へ提供する。ユーザ端末１１０の受信部（不図示）が景品一覧の画面データを受信すると、ユーザ端末１１０の表示部（不図示）は、景品一覧の画面を表示する。ユーザ端末１１０の受付部（不図示）は、この画面上で景品の選択を受け付ける。ユーザ端末１１０の送信部（不図示）は、景品ＩＤを含む店舗問い合わせを店舗支援サーバ１０２へ送信する。店舗支援サーバ１０２の受信部１６８が店舗問い合わせを受信すると、データ提供部３１４は、店舗問い合わせに含まれる景品ＩＤを条件キーとして、店舗データ記憶部３３８の検出データを検索して、景品ＩＤに対応する店舗ＩＤとゲーム装置ＩＤの組を特定する。データ提供部３１４は、特定された店舗ＩＤに基づく店舗リストを生成する。店舗リストには、店舗ＩＤに対応する店舗名、住所、電話番号、メールアドレスおよび営業時間などのデータが表示される。また、店舗毎に、ゲーム装置ＩＤで特定されるクレーンゲーム装置１０４の名称（店舗で付けた名前）や機種なども表示する。データ提供部３１４は、この店舗リストの画面データを店舗端末１０９に提供する。ユーザ端末１１０の取得部（不図示）が店舗リストの画面データを取得すると、ユーザ端末１１０の表示部（不図示）は、店舗リストの画面を表示する。プレイヤ（ユーザ）は、欲しい景品が収容されているクレーンゲーム装置１０４がある店舗を訪れ、希望とおりにプレイを楽しむことができる。

【0079】

プレイヤが、特定の店舗（店舗Ｘ）に特定の景品（景品Ａ）があるかを調べられるようにしてもよい。その場合には、ユーザ端末１１０は、店舗（店舗ＩＤ）と景品（景品ＩＤ）を指定して問い合わせを送信する。店舗支援サーバ１０２はこれを受信して、データ提供部３１４は、指定された店舗ＩＤと景品ＩＤの組を条件キーとして検索を行う。そして、店舗支援サーバ１０２は、検索されたゲーム装置ＩＤにしたがって、その店舗（店舗Ｘ）でその景品（景品Ａ）を収容しているクレーンゲーム装置１０４（Ｓ機）の情報をユーザ端末１１０に提供する。このようにすれば、プレイヤ（ユーザ）は、たとえば近所の店舗に欲しい景品が有るか、有るとすればどのクレーンゲーム装置１０４に行けばよいかを知ることができる。

【0080】

図１０は、店舗データ記憶部３３８のデータ構成図である。
店舗支援サーバ１０２の店舗データ記憶部３３８は、クレーンゲーム装置１０４において判定モデルにより特定された景品を示すデータを格納する。店舗データ記憶部３３８は、店舗ＩＤ、ゲーム装置ＩＤおよび景品ＩＤを対応付けて格納する。さらに、検出日時を対応付けてもよい。検出日時は、クレーンゲーム装置１０４によって検出データに付加されてもよいし、店舗支援サーバ１０２によって設定されてもよい。検出日時は、少なくともそのときに収容されていたことを示す。検出日時以降に、プレイヤが獲得された景品は、データとしては残るが、いつまでも収容されているとは限らない。
たとえば、店舗ＩＤ＝Ｋ００５の店舗にある、ゲーム装置ＩＤ＝Ｌ００７４のクレーンゲーム装置１０４で、景品ＩＤ＝Ｍ０１４１の景品が特定された場合に、クレーンゲーム装置１０４（Ｌ００７４）のデータ提供部４１４は、店舗ＩＤ＝Ｋ００５、ゲーム装置ＩＤ＝Ｌ００７４、景品ＩＤ＝Ｍ０１４１を店舗支援サーバ１０２に提供する。店舗支援サーバ１０２のデータ取得部３１２は、店舗ＩＤ＝Ｋ００５、ゲーム装置ＩＤ＝Ｌ００７４、景品ＩＤ＝Ｍ０１４１を対応付けて店舗データ記憶部３３８に記録する。クレーンゲーム装置１０４（Ｌ００７４）で景品の入れ替えがあり、景品（Ｍ０１４１）の代わりに景品ＩＤ＝Ｍ０１５２の景品が入れられた場合には、カメラ１２２が景品（Ｍ０１５２）を撮影する。物品特定部４０４は、判定モデルを用いて景品（Ｍ０１５２）を特定し、データ提供部４１４は、店舗ＩＤ＝Ｋ００５、ゲーム装置ＩＤ＝Ｌ００７４、景品ＩＤ＝Ｍ０１５２を店舗支援サーバ１０２に提供する。店舗支援サーバ１０２のデータ取得部３１２は、店舗ＩＤ＝Ｋ００５、ゲーム装置ＩＤ＝Ｌ００７４、景品ＩＤ＝Ｍ０１４１を更新し、店舗ＩＤ＝Ｋ００５、ゲーム装置ＩＤ＝Ｌ００７４、景品ＩＤ＝Ｍ０１５２に改める。

【0081】

店舗支援サーバ１０２が、上述したように店舗端末１０９あるいはユーザ端末１１０に画面データを提供する場合に、検出日時を条件としてデータを絞り込むようにしてもよい。現在から遡って所定時間（たとえば、２４時間）以内に検出された景品に関するデータだけが提供されるようにしてもよい。また、店舗端末１０９あるいはユーザ端末１１０に各景品の検出日時が表示されるように、画面データに検出日時を加えるようにしてもよい。たとえば、４８時間前に検出された景品のデータが記録されていたとする。但し、店舗端末１０９あるいはユーザ端末１１０でこのデータを参照した時点で、この景品が収容されているとは限らない。４６時間前にプレイヤによって獲得された場合には、現時点で景品は持ち去られて無くなっている。このように、絶対に収容されていると保証できないので、収容されている可能性が高いデータだけを用いるようにするという意味がある。

【0082】

本実施形態についてまとめる。店舗支援サーバ１０２は、カタログデータを用いて判定モデルを作成する。クレーンゲーム装置１０４は、機内を写した撮影画像を判定モデルに適用して、収容されている景品を特定する。カタログデータを用いるので、教師データを作成するための撮影が不要になる。

【0083】

クレーンゲーム装置１０４に収容されている景品の情報は、店舗支援サーバ１０２に登録される。店舗のオペレータやユーザ（プレイヤ）は、クレーンゲーム装置１０４から離れた場所にいても、クレーンゲーム装置１０４にどのような景品が入れられているか知ることができる。また、特定の景品がどこのクレーンゲーム装置１０４に入れられているかも知ることができる。

【0084】

［変形例１］
判定モデルを作成するための教師データにおいて多数のサンプル画像が必要になる理由について説明する。クレーンゲーム装置１０４の中に置かれている景品は、いろいろな姿勢をしている。したがって、撮影画像に含まれる景品は、いろいろな角度から見た形をしている。また、クレーンゲーム装置１０４の中を照らす状態も、それぞれに違う。そのため、撮影画像に含まれる景品は、色彩も少しずつ異なる。つまり、景品の画像が多様である。そのため、これに対応して安定的に景品を認識するためには、景品毎に沢山のサンプル画像を用いて、いろいろな状態の景品の画像を予め学習しておく必要がある。

【0085】

実施形態で説明した宣伝画像をサンプル画像として用いるとしても、もっとサンプル画像があった方が判定モデルの精度が高まる。変形例１では、宣伝画像を加工して、派生画像を生成する。そして、派生画像をサンプル画像として教師データに加える。宣伝画像を基礎として改変によって派生画像を得る方法は、種々考えられる。たとえば、ノイズ（ホワイトノイズなど）を加えたり、景品を回転させたり、左右あるいは上下に反転させたりする方法などがある。

【0086】

本実施形態で得られた宣伝画像は画質が良いので、このような改変に適している。

【0087】

変形例１では、さらに改変のバリエーションを増やすために、幾つかの独自の加工方法を提案する。店舗支援サーバ１０２のデータ加工部３０８（図３）は、以下に示すさまざまな加工方法により宣伝画像を加工することにより派生画像を生成する。さらに、データ加工部３０８は、生成された派生画像を入力データ（説明変数）とし、元の宣伝画像と同じ景品ＩＤを出力データ（目的変数）とする教師データを生成（更新）する。モデル学習部３０２は、この教師データを用いて機械学習を行って判定モデルを生成する。

【0088】

図１１は、派生画像の第１例を示す図である。
宣伝画像５００ａは、図５に関連して説明したように景品Ａを前方向から撮影した正面の画像である。宣伝画像５００の背景は、単一色であることが多い。背景は、景品の見栄えやイメージの観点から景品毎に変わることがある。データ加工部３０８は、宣伝画像５００ａにおいてトリミングを行って、景品領域５０１ａの画像だけを残す。景品領域５０１ａとは、景品の輪郭の内側を意味する。データ加工部３０８は、予め背景画像５０２を複数用意しておく。背景画像５０２は、たとえば、景品の色として平凡の色彩（たとえば、ぬいぐるみに使われやすいベージュなど）を組み合わせた画像を用いる。ここでは、迷彩柄の画像の例を示す。なお、背景画像５０２は、クレーンゲーム装置１０４に設置されているカメラ１２２により撮影されたゲームフィールドの画像であってもよい。この場合、設定表示部１４４を介して、オペレータが景品Ｐを景品収容部１１４に装填する際などに、撮影操作の指示入力を行いゲームフィールドを撮影するが、制御部が、所定条件（一定時間ごと、景品取得時、扉の開閉時など）を満たしたときに撮影するようにしてもよい。撮影された背景画像５０２は、通信部１８４を介して店舗支援サーバ１０２に送信される。このようにすることで、実際に景品Ｐが載置されるゲームフィールドを写した背景画像を用いて、景品Ｐの識別精度を向上させることができるようになる。

【0089】

データ加工部３０８は、景品領域５０１ａ（の画像）を上位レイアとし、背景画像５０２を下位レイアとしてレイア合成を行って、派生画像５０４を生成する。データ加工部３０８は、複数の背景画像５０２についてレイア合成を行って、複数の派生画像５０４を生成する。

【0090】

各宣伝画像５００に対して、同じ背景画像５０２を用いることが望ましい。そうすれば、背景画像５０２の画像的特徴が景品の特定要件になるという誤学習（図１１の迷彩柄が景品Ａのものであるという誤解）を避けることができる。学習の過程で異なる景品（景品Ａ，Ｂ,・・・）に関して同じ背景（迷彩柄）がでてくれば、判定モデルは、背景部分の画像的特徴が、景品の判定に関わらないとして無視するように学習する。つまり、どの景品にも出てくる背景（迷彩柄）の特徴は、景品（景品Ａ，Ｂ，・・・）を区別する上で「手がかり」にならないとして扱われる。その結果、判定モデルは、背景部分以外の景品部分（景品Ａそのもの）の画像的特徴の方に重点をおいて、正しく景品を特定できるように学習する。

【0091】

このように、第１例の派生画像は、データ加工部３０８が、宣伝画像５００における景品領域５０１ａ以外の背景画像５０２を加工することによって得られる。ここでいう「景品領域以外の背景画像」とは、景品の輪郭の外側の画像である。背景画像５０２は、景品の輪郭に接する。そのため、ユーザは、背景画像５０２を景品の奥の物体を表すものとして認識する。

【0092】

図１２は、派生画像の第２例を示す図である。
景品載置台１１６に雑然と置かれた景品は、互いに重なることが多い。たとえば、上に載った景品が下側の景品の一部を隠してしまい、撮影画像において下側の景品の一部が欠けることがある。そのような撮影画像でも、判定モデルにおいて下側の景品を特定できるようにすることが望ましい。第２例では、何かの下敷きになって景品の一部が画像から欠けてしまった状況を擬似的に作る。上に載る物は、他の景品に限らない。景品以外の物が邪魔をする場合もある。たとえば、装飾品やクレーン１１８などがカメラ１２２と景品の間に入り込んで、部分的に撮影を遮ることも想定される。

【0093】

宣伝画像５００ａは、第１例の場合と同じである。データ加工部３０８は、予め前景画像５０６を複数用意しておく。前景画像５０６は、たとえば、単色の単純な図形でもよい。この例では、黒色の矩形を前景画像５０６として用いる。前景画像５０６は、他の景品の部分画像であってもよい。また、前景画像５０６は、装飾品やクレーン１１８などの物品の部分画像であってもよい。

【0094】

データ加工部３０８は、宣伝画像５００ａを下位レイアとし、前景画像５０６を上位レイアとしてレイア合成を行って、派生画像５０８を生成する。前景画像５０６の配置は任意であるが、宣伝画像５００ａの景品領域５０１ａに重なり過ぎない方がよい。景品ａの画像的特徴が消されてしまうからである。データ加工部３０８は、複数の前景画像５０６についてレイア合成を行って、複数の派生画像５０４を生成する。前景画像５０６の配置をその都度変えるようにしてもよい。

【0095】

このようにすれば、判定モデルは、宣伝画像５００ａに含まれる景品のうち欠けていない部分（景品Ａの左足以外の残りの部分）の画像的特徴だけでも景品を特定できるように学習する。そうすれば、実際の撮像画像において景品の一部が欠けていても、判定モデルは、正しくその景品を特定できる。

【0096】

第１例における背景画像５０２の場合と同様に、第２例でも各宣伝画像５００に対して同じ前景画像５０６を用いることが望ましい。

【0097】

このように、第２例の派生画像は、データ加工部３０８が、宣伝画像における景品領域５０１ａの一部に前景画像５０６を重ねることによって得られる。ここでいう「景品領域の一部」とは、景品の輪郭の内側の一部（全部でない）を意味する。「前景画像」は、景品の一部を隠す画像である。そのため、ユーザは、前景画像５０６を景品の手前の物体を表すものとして認識する。

【0098】

細かく加工された景品や毛の長い景品などでは、ビニール袋などに包装された状態でクレーンゲーム装置１０４に収容されることがある。細部や毛が引っ掛かって破損することを防止するためである。ビニール袋は、照明光を反射する。そのため、撮影画像に含まれる景品の一部にビニール袋の反射が白く写り、景品の表面の一部がビニール袋の光沢によって見えなくなることがある。このような状態を擬似的に作るようにしてもよい。その場合には、前景画像として、包装部材の反射を模した画像（以下、「反射画像」という）を用いる。景品に保護シートを貼り付けた状態での光沢を示す反射画像などを前景画像として用いてもよい。反射画像に含まれる光沢部分は、少なくとも景品の表面よりも輝度あるいは明度が高い画像であればよい。

【0099】

図１３は、派生画像の第３例を示す図である。
クレーンゲーム装置１０４に同時に収容される景品の種類は、複数であることが多い。たとえば、クレーンゲーム装置１０４に景品Ａ、Ｂ（ぬいぐるみ）を含む複数種類が収容されていたとする。景品Ａの下に景品Ｂが潜り込めば、景品Ａの脇から景品Ｂの一部（たとえば、顔）がのぞいていることがある。また、景品Ａの上に景品Ｂが乗れば、景品Ｂの一部が景品Ａの一部を隠すことがある。このような状態を擬似的に作るようにしてもよい。

【0100】

宣伝画像５００ａは、第１例の場合と同じである。宣伝画像５１８は、学習対象ではない景品Ｂの画像である。データ加工部３０８は、宣伝画像５００ａにおいてトリミングを行って、景品Ａの景品領域５０１ａだけを残す。また、データ加工部３０８は、宣伝画像５１８においてトリミングを行って、景品Ｂの景品領域５０１ｂだけを残す。

【0101】

データ加工部３０８は、景品Ａの景品領域５０１ａ（の画像）を上位レイアとし、少し移動させた景品Ｂの景品領域５０１ｂ（の画像）を下位レイアとしてレイア合成を行って、派生画像５１６を生成する。景品Ａの景品領域５０１ａ（の画像）を移動させてもよい。このようにすれば、景品Ａの脇から景品Ｂの一部がのぞいている状態の画像が得られる。景品Ｂは、景品Ａの背景画像の一種であるとも言える。

【0102】

図示していないが、景品Ｂが景品Ａの前景画像になるようにしてもよい。データ加工部３０８は、景品Ｂの景品領域５０１ｂ（の画像）を上位レイアとし、景品Ａの景品領域ａ（の画像）を下位レイアとしてレイア合成を行って、派生画像５１６を生成する。このようにすれば、景品Ｂが景品Ａに重なり、景品Ｂの一部が景品Ａの一部を隠している状態の画像が得られる。

【0103】

データ加工部３０８は、景品Ａと景品Ｂが重ならない状態の派生画像５１６を生成してもよい。ただし、学習対象ではない景品Ｂは一部だけとする。たとえば、景品Ｂを、見切れる状態とする。

【0104】

判定対象の景品Ａに対して合成する景品Ｂの選定に関して、データ加工部３０８は、予め合成対象の景品を定めておいてもよい。同じシリーズの景品や同じカテゴリ（たとえば、動物のぬいぐるみ）の景品を合成対象としてもよい。あるいは、店舗データ記憶部３３８を参照して、実際にクレーンゲーム装置１０４に同時収容されている景品を選ぶようにしてもよい。あるクレーンゲーム装置１０４（Ｓ機）について専用の判定モデルを生成する場合には、そのクレーンゲーム装置１０４（Ｓ機）に収容されている景品を合成対象としてもよい。景品Ｂの代わりに装飾品（たとえば、ビニールボールなど）などの画像を合成対象として用いてもよい。判定対象の景品（第１物品の例）に対して合成する景品や装飾品などの物品（第２物品の例）の画像は、１つでもよいし、複数でもよい。つまり、景品の宣伝画像に対して複数の物品の画像を含めるようにしてもよい。

【0105】

このように、データ加工部３０８は、クレーンゲーム装置１０４に第１景品および第２景品が収容される場合において、第１景品の宣伝画像に対して第２景品の画像を含めることにより、第１景品の派生画像を生成する。そして、モデル学習部３０２は、第２景品の画像を含む第１景品の派生画像に基づいて、判定モデルを学習させる。

【0106】

別の景品や物品が写り込む撮影画像に近似する派生画像を用いて判定モデルを学習するので、この派生画像における学習の成果を発揮して、実際にそのようになっている撮影画像に対して正しく景品を認識できるようになる。

【0107】

上述した加工方法を組み合わせてもよい。たとえば、データ加工部３０８は、第２例に示した前景画像５０６を上位レイアとし、第１例に示した景品領域５０１ａ（の画像）を中間レイアとし、第１例に示した背景画像５０２を下位レイアとしてレイア合成を行って、派生画像５０４を生成する。あるいは、第３例のレイア合成において、最下位のレイアに背景画像５０２を設けて、レイア合成を行ってもよい。

【0108】

［変形例２］
クレーンゲーム装置１０４の景品収容部１１４の中にはさまざまな装飾品がある。たとえば、クリスマスツリー、景品の下に敷かれるボール、人工芝生、あるいはアーム１４６から落ちた景品をバンドさせるクッションボールなどが装飾品として入れられることがある。あるいは、獲得対象としてではなく装飾用として、紙箱入り景品の中身（たとえば、フィギュア）だけが背面などに設置されることもある。獲得対象はフィギュアが入った紙箱である。つまり、検出したいのは紙箱の方であって、装飾用のフィギュアは無視されるべきである。

【0109】

装飾品が撮影画像に含まれる場合には、誤って装飾品を景品の一種として認識してしまう可能性がある。変形例２では、装飾品が景品であると誤認識されることを防ぐ。以下では、装飾品のように、獲得対象となる景品以外の物品を「非対象物」という。上述した紙箱入り景品の場合、飾られる中身（フィギュア）は非対象物である。なお、獲得対象の紙箱と装飾用の中身とでは外観が異なるので、それらの画像によって両者は区別可能である。

【0110】

図１４は、非対象物を含む部分画像の例を示す図である。
ここでは、クッションボール６０４の例を示す。クッションボール６０４は、景品載置台１１６に固定されている。また、景品Ｃは、紙箱であるとする。全体画像６００は、クッションボール６０４を含む。図７に関連して説明した第１方法で、クッションボール６０４を含む部分画像６０２ｃが抽出されたとする。この例では、景品Ｃのサイズに合わせて、部分画像６０２を大きくしている。部分画像６０２ｃに景品Ｃは含まれない。したがって、物品特定部４０４が、判定モデルに部分画像６０２ｃを入力した場合に、景品ＩＤが出力されず、景品なしと判定されることが正しい。このとき、判定モデルが、被写体であるクッションボール６０４がいずれかの景品に当たるとして、景品ＩＤを出力したとすれば、その出力結果は誤りである。

【0111】

変形例２で、物品特定部４０４は、部分画像６０２に含まれる被写体が非対象物であるときには、判定モデルにより被写体の景品ＩＤを特定したとしても、特定された景品ＩＤを無効化する。非対象物が偶然に或る景品の画像的特徴を有していた場合に、非対象物から景品ＩＤが特定されてしまうことがある。このような場合には、景品ＩＤが特定されたとしてもそれを無効にしなければならない。

【0112】

「景品ＩＤを無効化する」方法としては、２通りある。
（１）判定モデルの処理を行った上で、被写体が非対象物であれば、特定された景品ＩＤを破棄する。
（２）被写体が非対象物であれば、判定モデルの処理を行わない。
（１）は、物品を検出した上での判定方法である。（２）は、物品を検出したかどうかに依存しない判定方法である。

【0113】

（１）と（２）のいずれの方法でも、部分画像６０２ｃに含まれる被写体が非対象物であることを判定する必要がある。非対象物を検出するための判定モデル（上述した景品用の判定モデルと区別するために、以下では「非対象物判定モデル」という）を用いる。

【0114】

教師データ記憶部３３０の非対象物画像記憶部（不図示）には、非対象物ＩＤに対応付けられた非対象物の画像が記憶されている。非対象物ＩＤは、クリスマスツリー、下敷用ボール、人工芝生、クッションボール６０４、装飾用のフィギュアなどの非対象物を識別する。非対象物の画像は、クリスマスツリーなどの画像であって、非対象物毎に複数用意される。これらの画像が教師データのサンプル画像として用いられる。

【0115】

モデル学習部３０２は、非対象物画像記憶部において非対象物ＩＤに対応づけられている非対象物の画像を教師データとして用いて、機械学習を行って非対象物判定モデルを生成する。生成された非対象物判定モデルは、判定モデル記憶部３３６に記憶される。また、非対象物判定モデルは、クレーンゲーム装置１０４に提供される。

【0116】

クレーンゲーム装置１０４の非対象物判定部４０６は、部分画像６０２を入力して、非対象物判定モデルから出力される非対象物ＩＤを得る。非対象物ＩＤが出力されると、部分画像６０２に非対象物が含まれると認識されたことになる。非対象物ＩＤが出力されない場合には、部分画像６０２にいずれの非対象物も含まれないと判断されたことになる。

【0117】

上述した（１）の方法の場合、物品特定部４０４は、部分画像６０２を景品用の判定モデルに入力し、景品用の判定モデルを用いた判定の演算を行う。仮に、誤認識され景品Ｘの景品ＩＤが出力されたとする。これは、非対象物Ｐ（クッションボール９０４）を誤認識して、景品Ｘ（くまのぬいぐるみ）であると判定した、ということを意味する。さらに、物品特定部４０４に含まれる非対象物判定部４０６は、部分画像６０２を非対象物判定モデルに入力し、非対象物判定モデルを用いた判定の演算を行う。その結果、非対象物Ｐ（クッションボール９０４）の非対象物ＩＤが出力される。つまり、部分画像６０２を景品用の判定モデルと非対象物判定モデルの両方で判定し、それぞれが認識結果を出力している。景品用の判定モデルが景品Ｘであると認識し、非対象物判定モデルが非対象物Ｐであると認識した場合には、景品Ｘではないと否定する。非対象物判定モデルは、候補となる非対象物の種類が少ないので判定の精度が高い。非対象物判定モデルがクッションボールであると認識した確からしさ（たとえば、９０％）が、景品用の判定モデルにおける認識の確からしさ（たとえば、７０％）よりも高いので、クッションボール６０４とした認識が正しく、景品Ｘの認識は誤りであったと判断できる。この場合、物品特定部４０４は、景品用の判定モデルによって特定された景品ＩＤを破棄する。景品用の判定モデルと非対象物判定モデルが、それぞれ確からしさを出力し、確からしさが高い方の判定結果を優先するようにしてもよい。

【0118】

上述した（２）の方法の場合、先に非対象物判定部４０６が、部分画像６０２を非対象物判定モデルに適用する。その結果、クッションボール６０４の非対象物ＩＤが出力される。非対象物ＩＤが出力された場合には、その部分画像６０２を対象とした景品用の判定モデルの処理を行わない。つまり、非対象物が映る部分画像６０２を、景品判定の対象外とする。

【0119】

このように、撮影画像の被写体が非対象物であると判定され、被写体が明らかに景品ではない場合には、景品を特定しないことにする。これにより、クリスマスツリー、下敷用ボール、人工芝生、クッションボール６０４あるいは装飾用のフィギュアなどを景品として誤認識することを防げる。

【0120】

なお、非対象物を認識する手段は、機械学習された判定モデルでなくてもよい。色彩や形状に基づく条件判定を行って、非対象物であるか否かを判定するプログラムを用いてもよい。たとえば、非対象物判定部４０６は、プログラムの処理によって、部分画像６０２においてエッジ検出を行い、検出されたエッジにより物品の領域を特定し、その領域が大きな円形であって、その色がクッションボールの色と近似している場合に、クッションボールであると判定するプログラムなどが考えられる。

【0121】

画像の時系列情報を活用して、物品に動きがあるかどうかで非対象物を特定し、排除するようにしてもよい。背景差分を検出して、動きが無い分を対象外とする手法が考えられる。たとえば、クレーンゲーム装置１０４において蓄積されている過去の撮影画像（同じカメラで同じ画角で撮影したもの）と、検出対象の撮影画像（全体画像６００または部分画像６０２）との比較を行って、固定されている非対象物を認識する。非対象物判定部４０６は、検出対象の撮影画像における被写体の画素値と、過去の撮影画像における同じ位置の画素値を比較する。画素値が同じであれば、同じ物体を写していると判断できる。したがって、画素値が一致した場合には、被写体は、固定されている非対象物であると判定できる。ただし、景品が同じ位置に留まっているために画素値が一致することがあり、移動していない景品を非対象物として誤認識するおそれがある。その誤認識を防ぐために、過去の撮影画像は、景品が同じ位置に留まっていないことを前提とする。たとえば、過去の撮影画像は、景品の入れ替えや再配置などが行われる前の撮像画像であって、検出対象の撮影画像は、景品の入れ替えや再配置などが行われる後の撮像画像であることが望ましい。また、検出対象の撮影画像を、長期間に亘って蓄積された複数の過去の撮影画像のそれぞれと比較するようにすれば、非対象物の判定精度が高まる。この場合、いずれの過去の撮影画像との比較においても、画素値が一致していることを条件として非対象物を判定すれば、誤認識を防ぎやすい。

【0122】

［変形例３］
運用フェーズにおいて、判定モデルの学習を強化することも考えられる。景品がアーム１４６に持ち上げられ、運搬途中に落下すると、その都度景品の姿勢が変わる。そのため、天井面のカメラ１２２と背面のカメラ１２２によっていろいろな角度から景品を撮影することができる。変形例３では、クレーンゲーム装置１０４で撮影された画像を教師データに加えることによって、サンプル数を増やす。

【0123】

図１５は、ターゲット景品の部分画像６０２の例を示す図である。
全体画像６００ｅは、プレイ前に天井面のカメラ１２２で上方から撮影されたものである。全体画像６００ｅには、この後プレイヤに狙われる景品Ａが含まれる。ただし、この段階ではどの景品がターゲットになるかはわからない。

【0124】

全体画像６０１ｅは、同じくプレイ前に背面のカメラ１２２で斜め上方から撮影されたものである。このときアーム１４６は、何もつかんでいない。この後プレイが始まり、景品Ａはアーム１４６に持ち上げられる。

【0125】

全体画像６００ｆは、運搬中に上方から撮影されたものである。景品Ａがなくなる。また、クレーン１１８が移動している。

【0126】

全体画像６０１ｆは、同じく運搬中に斜め上方から撮影されたものである。アーム１４６が景品Ａをつかんでいる様子が写っている。画像抽出部４０５は、図８に関連して説明した方法で、景品Ａの部分画像６０２ｆを抽出することができる。このあと、景品Ａがアーム１４６からはずれ、落下する。

【0127】

全体画像６００ｇは、プレイ後に上方から撮影されたものである。景品Ａは、元あった場所とは別のところに写っている。また、景品Ａは、元の姿勢とは異なる姿勢で写っている。この全体画像６００ｇと運搬中の全体画像６００ｆを比較すると、落下した景品Ａを特定できる。景品Ａ以外の景品については、全体画像６００ｇと全体画像６００ｆとで画素の値が変化しない。動いていないからである。一方、景品Ａを表す画素は、その値が変化する。景品Ａの像に置き換わるからである。したがって、全体画像６００ｇと全体画像６００ｆを比較して画素値が変化したところが、景品Ａを表していることになる。全体画像６００ｇにおいて、画素値が変化したところを含むように部分画像６０２の枠を設定し、その枠内の画像を切り出せば、景品Ａを含む部分画像６０２ｇが得られる。なお、全体画像６００ｇ又は６００ｆにおいてクレーン１１８に該当する部分は、無視する。クレーン１１８の画素の値も変化するが、景品でないことが明らかだからである。クレーン１１８の部分は、クレーン制御部１５４から取得した位置情報に基づいて特定できる。

【0128】

全体画像６０１ｇは、プレイ後に斜め上方から撮影されたものである。アーム１４６は何もつかんでいない。

【0129】

なお、プレイ前の全体画像６００ｅに含まれている景品Ａも、同様の考え方で特定できる。プレイ前の全体画像６００ｅと運搬中の全体画像６００ｆを比較すると、持ち上げられる前の景品Ａを特定できる。つまり、全体画像６００ｅと全体画像６００ｆを比較して画素値が変化したところが、ターゲットとなった景品Ａを表している。全体画像６００ｅにおいて、画素値が変化したところを含むように部分画像６０２の枠を設定し、その枠内の画像を切り出せば、景品Ａを含む部分画像６０２ｅが得られる。

【0130】

このように、全体画像６００ｅ，６００ｆ，６００ｇと、全体画像６０１ｆによって、３枚の部分画像６０２ｅ，６００ｆ，６００ｇを得ることが可能である。これらをクレーンゲーム装置１０４に送って、教師データとして利用させる。なお、部分画像６０２ｅ，６００ｆ，６００ｇのいずれかにおいて景品ＩＤが特定されることが前提となる。いずれにおいても景品の検出に失敗した場合には、景品ＩＤが不明であるので、サンプル画像として使えない。また、プレイヤが景品Ａを獲得した場合には、プレイ後の全体画像６００ｇからは部分画像６０２ｇを抽出できない。したがって、プレイ後の景品検出は行わない。

【0131】

図１６は、変形例３におけるシーケンスを示す図である。
クレーンゲーム装置１０４の天井面のカメラ１２２は、プレイ前の全体画像６００ｅを撮影する（Ｓ２０）。クレーン制御部１５４がアーム１４６に把持動作をさせ、クレーン１１８を移動させると、天井面のカメラ１２２と背面のカメラ１２２は、それぞれ搬送中の全体画像６００ｆ，６０１ｆを撮影する（Ｓ２２）。クレーン１１８の動作が終了したとき、天井面のカメラ１２２は、プレイ後の全体画像６００ｇを撮影する（Ｓ２４）。

【0132】

クレーンゲーム装置１０４の画像抽出部４０５は、上述した方法で、プレイ前の全体画像６００ｅ（上方）と搬送中の全体画像６００ｆ（上方）を比較して、プレイ前の部分画像６０２ｅを抽出する（Ｓ２６）。画像抽出部４０５は、図８に関連して説明した方法で、搬送中の全体画像６０１ｆ（斜め上方）から搬送中の部分画像６０２ｆを抽出する（Ｓ２８）。さらに、画像抽出部４０５は、プレイ後の全体画像６００ｇ（上方）と搬送中の全体画像６００ｆ（上方）を比較して、プレイ後の部分画像６０２ｇを抽出する（Ｓ３０）。

【0133】

物品特定部４０４は、プレイ前の部分画像６０２ｅ～６０２ｇをそれぞれ判定モデルに適用して、３回の景品検出を行う。少なくとも１枚の部分画像６０２ｅ～６０２ｇにおいて景品の検出に成功し、景品ＩＤが特定されたものとする（Ｓ３２）。すべて景品の検出に失敗した場合には、この段階で処理を終える。

【0134】

クレーンゲーム装置１０４のデータ提供部４１４は、景品ＩＤに対応付けて３枚の部分画像６０２ｅ～６０２ｇを店舗支援サーバ１０２に提供する（Ｓ３４）。

【0135】

店舗支援サーバ１０２のデータ取得部３１２は、景品ＩＤに対応付けられた３枚の部分画像６０２ｅ～ｇを取得する（Ｓ４０）。データ取得部３１２は、部分画像６０２ｅ～ｇを景品ＩＤに対応付けて教師データ記憶部３３０の部分画像記憶部（不図示）に記憶する。

【0136】

モデル学習部３０２は、部分画像記憶部において景品ＩＤに対応づけられている部分画像６０２ｅ～ｇを教師データとして用いて、追加の機械学習を行って判定モデルを生成（更新）する。あるいは、モデル学習部３０２は、宣伝画像記憶部３３２と派生画像記憶部３３４と部分画像記憶部を参照して、新たな判定モデルを生成する（Ｓ４２）。データ提供部４１４は、各クレーンゲーム装置１０４に判定モデルを提供する（Ｓ４４）。

【0137】

まとめると、画像抽出部４０５は、クレーンゲーム装置１０４でプレイ中に撮影されたプレイ空間画像（全体画像）から、収容されている景品の撮影画像（部分画像）を抽出する。モデル学習部３０２は、物品特定部４０４により特定された景品ＩＤを出力データ（目的変数）とし、抽出された部分画像を入力データ（説明変数）とする教師データに基づいて、判定モデルを学習させる。

【0138】

実際に景品Ａが景品収容部１１４の中に置かれたときの姿勢やアーム１４６につかまれたときの姿勢は、学習フェーズでは予想しにくい。そのため、教師データを準備するときに、いろいろな姿勢を撮っておくという方法がとられる。しかし実際に置かれたとき、あるいはつかまれたときに、景品Ａが示す姿勢はある程度限られている。物理的に安定しやすい状態は限られるからである。そのように考えると、実際の姿勢を写した部分画像の方が、学習効率の面からサンプル画像として適している。画像の枚数が少なくて済むし、認識時の画像との近似度も高いからである。図１５に例示したシーンと同じようなシーンは、今後もどこかで繰り返される。したがって、３枚の部分画像６０２ｅ，ｆ，ｇで学習しておけば、今回検出に失敗した姿勢であっても、そのときには検出できるように判定モデルが成長して行く。このように、初期の学習させる負担を抑えつつ、運用しながら学習精度を徐々に向上させることができる。

【0139】

クレーンゲーム装置１０４でプレイ空間画像を撮影する段階は、クレーンゲーム装置１０４の運用開始後に限られない。運用開始前の段階で撮影されたプレイ空間画像から景品の撮影画像を抽出するようにしてもよい。たとえば、クレーンゲーム装置１０４の開発段階の動作テストや製造段階の出荷検査において撮影されたプレイ空間画像を用いてもよい。また、クレーンゲーム装置１０４を店舗に納品した後に行われる動作確認やデモンストレーションにおいて撮影されたプレイ空間画像を用いてもよい。あるいは、実際の運用や動作確認などとは別に、教師データの生成を主目的として、プレイ空間画像の撮影を行ってもよい。

【0140】

［変形例４］
必ず個包装される景品については、その景品が個包装されてない場合に、「景品ではない」と判定するようにしてもよい。

【0141】

［変形例５］
アーム１４６が把持可能な範囲は、機構的に定まっている。プレイが始まると、プレイヤ操作に従って、クレーン１１８は、プレイ空間Ｓの上方において横方向（Ｘ方向）および縦方向（Ｙ方向）に移動する。横方向に移動可能な左右範囲は限られている。また、縦方向に移動可能な奥行き範囲も限られている。つまり、クレーン１１８は、左右範囲と奥行き範囲で定まる水平面範囲で移動可能である。

【0142】

物品特定部４０４は、アーム１４６がプレイ空間Ｓの下方において把持可能な水平面範囲を対象として、部分画像６０２を抽出してもよい。アーム１４６によって把持できない範囲にある物品（たとえば、装飾品）を検出対象から除外すれば、景品以外の物品を景品と誤認識するリスクを減らせる。

【0143】

［変形例６］
変形例５とは異なり、アーム１４６が把持可能な範囲の外でも景品を検出するようにしてもよい。たとえば、景品収容部１１４の側面のガラス板の内側に、チラシが粘着テープなどで外向きに貼り付けられることがある。何かのきっかけで景品が飛んだ場合に、その景品に付いている紐やタグが、チラシとガラス板の隙間に入りこみ、粘着テープに引っかかり、落ちてこないことも考えられる。このように、偶発的に上記の把持可能な範囲の外へ出てしまった景品を検出できるようにする。また、大きく外れてはいないが、取りづらいところに景品があれば、それを検出するようにしてもよい。

【0144】

このような事態を想定して、物品特定部４０４は、把持不可能な範囲からも部分画像６０２を抽出してもよい。このようにすれば、たとえば、「左のガラス板に景品Ａが引っ掛かっている」という判断ができる。あるいは、「景品Ａが取りづらい場所にある」という判断ができる。

【0145】

そのような場合には、画像抽出部４０５において、上記の把持可能な範囲の外から抽出された部分画像６０２を入力して、判定モデルで演算を行った結果、景品ＩＤが出力される。そして、データ提供部４１４は、クレーンゲーム装置１０４の識別情報（たとえば、「１号機」などの名称）と、部分画像６０２の位置に基づいて特定される場所（たとえば、「左のガラス板」）と、検出された景品の識別情報（たとえば、景品Ａの名称）と、景品の画像とを含む警告データを店舗端末１０９へ提供する。店舗端末１０９のデータ取得部（不図示）が、警告データを取得すると、店舗端末１０９の表示部（不図示）は、警告データの内容を表示する。これにより、オペレータは、「１号機の左のガラス板に景品Ａが引っ掛かっている」あるいは「景品Ａが取りづらい場所にある」ということを知ることができる。景品Ａの画像も確認できる。オペレータは、１号機へ行って、左のガラス板に引っかかっている景品Ａを外して景品載置台１１６の上へ戻す。あるいは、取りやすい場所に景品Ａを移す。このように、不測の事態やプレイヤに不利な状況に迅速に対応すれば、プレイヤに不安や不快な思いをさせずに安心して遊んでもらえる。

【0146】

［変形例７］
アーム１４６によって引き上げられた景品だけでなく、最下位でアーム１４６の先端が近づけられた景品も、ターゲット景品である。また、図１５に関連して説明したように、引き上げられる前の景品を含む部分画像６０２ｅで特定された場合も、また落下した景品を含む部分画像６０２ｇで特定された場合も、ターゲット景品を特定したことになる。

【0147】

ターゲット景品がわかれば、そのプレイヤに他の景品を推奨するためのヒントになる。たとえば、プレイヤは、同じシリーズの景品や同じカテゴリの景品を好むと推測できる。変形例７では、プレイヤ毎にターゲット景品を把握して、それをヒントに他の景品を推奨する形態を示す。

【0148】

図１７は、変形例７におけるシーケンスを示す図である。
クレーンゲーム装置１０４のプレイヤ特定部（不図示）は、プレイヤを特定する（Ｓ５０）。たとえば、クレーンゲーム装置１０４に備えられたカードリーダー（不図示）で、プレイヤＩＤが登録されたプレイヤカードを読み取る。

【0149】

物品特定部４０４は、図８または図１５に関連して説明した方法によって、ターゲット景品を特定する（Ｓ５２）。データ提供部４１４は、ターゲットデータ（プレイヤＩＤ、ターゲット景品の景品ＩＤ、店舗ＩＤおよびゲーム装置ＩＤを含む）を店舗支援サーバ１０２に提供する（Ｓ５４）。

【0150】

店舗支援サーバ１０２のデータ取得部３１２は、ターゲットデータを取得する（Ｓ６０）。ターゲットデータは、プレイヤデータ記憶部３４２に記憶される（Ｓ６２）。店舗支援サーバ１０２の景品推奨部（不図示）は、ターゲットデータに基づいて、プレイヤに対して推奨する景品（以下、「推奨景品」という）を選定する（Ｓ６４）。

【0151】

プレイヤＴが狙った景品（ターゲット景品）が映画シリーズＵの悪役キャラのフィギュアであったとする。その場合には、プレイヤＴは、映画シリーズＵが好きであろうと推測できる。したがって、同じシリーズの中から別の景品を選定する。たとえば、同じ映画シリーズＵのヒーローキャラのフィギュアが推奨される。

【0152】

景品推奨部は、同じプレイヤが過去に狙った景品（過去のターゲット景品）を参照してもよい。プレイヤデータ記憶部３４２に、プレイヤＴが過去に、別の映画シリーズＶの悪役キャラのフィギュアを狙ったことが記憶されていたとする。今回のターゲットデータと比較すると、悪役キャラである点が共通する。したがって、プレイヤＴは、悪役キャラが好きであるということが推測できる。映画シリーズには、それほどこだわりが無いのかもしれない。このように、過去のターゲット景品を参照すれば、推測の精度が高まる。

【0153】

各景品がどのシリーズに属するか、どのカテゴリー（悪役キャラなど）に属するか、他にどのような特徴を有するかなどもついては、景品データ記憶部３４０に記憶されているデータ（たとえば、カタログデータ）を参照できる。また、統計的に分析されたプレイヤ層（たとえば、低年齢層あるいはアニメファンなど）などに基づいて、同じ層に属する別のプレイヤのターゲット景品を参照するようにしてもよい。

【0154】

データ提供部３１４は、推奨景品の景品ＩＤと店舗ＩＤの組を条件キーとして、店舗データ記憶部３３８の検出データを検索する（Ｓ６６）。その店舗内に推奨景品があればヒットし、推奨景品が収容されているクレーンゲーム装置１０４（ゲーム装置ＩＤ）がわかる。ヒットしなければ、別の推奨景品を選定する処理に戻る（Ｓ６４）。

【0155】

データ提供部３１４は、推奨景品案内を生成し、推奨景品案内の画面データをユーザ端末１１０に提供する（Ｓ６８）。推奨景品案内には、クレーンゲーム装置１０４の識別情報（たとえば、「１号機」などの名称）と、推奨景品の識別情報（たとえば、景品Ａの名称）と、推奨景品の画像とが含まれる。

【0156】

ユーザ端末１１０のデータ取得部（不図示）は、推奨景品案内を取得し（Ｓ７０）、ユーザ端末１１０の表示部（不図示）は、推奨景品案内を表示する（Ｓ７２）。プレイヤ（ユーザ）は、推奨景品案内の画面を見て、どのような景品が推奨されたかを知る。また、店舗内のどのクレーンゲーム装置１０４に収容されているかもわかる。プレイヤ（ユーザ）は、画像によって推奨景品をイメージすることができる。

【0157】

同じ店舗内のクレーンゲーム装置１０４だけでなく、別の店舗（たとえば、近所の店舗）のクレーンゲーム装置１０４を紹介するようにしてもよい。

【0158】

ターゲット景品そのものが他のクレーンゲーム装置１０４にもあるかを知らせてもよい。プレイヤ（ユーザ）は、他のクレーンゲーム装置１０４でも、ターゲット景品の獲得にチャレンジできる。

【0159】

ターゲット景品あるいは推奨景品の載置状態を把握できるように、クレーンゲーム装置１０４で撮影された全体画像６００，６０１または部分画像６０２をユーザ端末１１０に表示させるようにしてもよい。その場合には、店舗支援サーバ１０２のデータ取得部３１２は、紹介するクレーンゲーム装置１０４から全体画像６００，６０１または部分画像６０２を取得し、データ提供部３１４は、その画像をユーザ端末１１０に提供する。

【0160】

［変形例８］
プレイヤが景品を獲得したときに、獲得された景品を店舗支援サーバ１０２に知らせてもよい。

【0161】

クレーンゲーム装置１０４の移動判定部１５６が、景品Ｐが落下口１３０に落下したと判定したとき、データ提供部４１４は、そのプレイにおけるターゲット景品ＩＤと、店舗ＩＤと、ゲーム装置ＩＤおよびプレイヤＩＤを含む獲得データを、店舗支援サーバ１０２に提供する。

【0162】

店舗支援サーバ１０２のデータ取得部３１２は、獲得データを取得し、店舗データ記憶部３３８に記憶する。また、店舗データ記憶部３３８で、収容されているとして記憶されている景品の情報を削除するようにしてもよい。削除する景品の情報は、ターゲット景品ＩＤ、店舗ＩＤおよびゲーム装置ＩＤによって特定可能である。

【0163】

また、店舗支援サーバ１０２のデータ取得部３１２は、プレイヤデータ記憶部３４２に、獲得データを記憶してもよい。このようにすれば、プレイヤ毎に獲得済の景品を知ることができる。たとえば、獲得済みの景品を、推奨しないようにしてもよい。

【0164】

データ分析部（不図示）において、獲得までに何回トライされたかを算出して、獲得しやすさの指標を求めてもよい。多くのプレイヤにおける獲得データを参照すれば、一般的な獲得しやすさを知ることができる。獲得しやすさに応じて、梱包を変えるなどの対応をとることが考えられる。また、特定のプレイヤにおける獲得データのみを参照すれば、そのプレイヤの熟達レベルを知ることができる。たとえば、プレイヤ毎にその熟達レベルに見合った景品を推奨することができる。

【0165】

［その他の変形例］
全体画像６００から部分画像６０２を抽出する方式は、図７に関連して説明した第１方式および図８に関連して説明した第２方式に限られない。他の方式によって、部分画像６０２を抽出してもよい。たとえば、画像抽出部４０５は、画像認識の処理によって撮影画像６００の全体から物品（景品）の領域を検出し、その領域（物品の輪郭の内側の画像であって、背景を含まない）を部分画像６００としてもよい。あるいは、その領域を含む画像（物品の輪郭の内側と背景を含み、たとえば物品の領域の約１．５～３．５倍の大きさの正方形）を部分画像６００としてもよい。また、部分画像６０２の形状は、正方形に限定されない。部分画像６０２の形状は、たとえば長方形でもよいし、四角形以外の形状でもよい。

【0166】

画像の収集方法は上述の例に限定されない。任意の方法で収集された景品（物品の例）の画像に景品ＩＤ（物品ＩＤの例）を対応付けて教師データのサンプル画像とすれば、判定モデルを学習できる。たとえば、インターネット上で収集した景品の画像に対して景品ＩＤを割り当てることで判定モデルの学習が可能である。また、ユーザ端末１１０または店舗端末１０９で収集した画像に対して景品ＩＤを割り当てることで判定モデルの学習が可能である。

【0167】

店舗支援サーバ１０２とクレーンゲーム装置１０４の機能ブロックを適宜移し替えてもよい。たとえば、学習フェーズにおける店舗支援サーバ１０２の処理を、クレーンゲーム装置１０４で実行するようにしてもよい。その場合には、クレーンゲーム装置１０４は、宣伝画像取得部３００とモデル学習部３０２などと同じ機能ブロックを備える。また、運用フェーズにおけるクレーンゲーム装置１０４の処理を、店舗支援サーバ１０２で実行するようにしてもよい。その場合には、店舗支援サーバ１０２は、物品特定部４０４などと同じ機能ブロックを備える。

【0168】

店舗支援サーバ１０２を、主に機械学習を行う学習サーバと、運用中のデータ活用を支援する運用支援サーバとに分けてもよい。

【0169】

オフラインの通常のクレーンゲーム装置１０４を想定して説明したが、オンラインクレーンゲームに応用してもよい。また、クレーン方式ではない物品取得ゲーム装置に応用してもよい。

【符号の説明】

【0170】

１００ ゲームシステム、１０１ 景品データベース、１０２ 店舗支援サーバ、１０３ ネットワーク、１０４ クレーンゲーム装置、１０６ インターネット、１０７ 店舗内サーバ、１０９ 店舗端末、１１０ ユーザ端末、１１２ 基台、１１４ 景品収容部、１１６ 景品載置台、１１８ クレーン、１２２ カメラ、１２４ 扉、１２６ 第１領域、１２８ 第２領域、１３０ 落下口、１３２ 景品ストック空間、１３４ 景品取出口、１３６ 操作卓、１３８ コイン投入口、１４０ ＩＣカードリーダ、１４２ 操作部、１４２ａ 操作ボタン、１４２ｂ 操作ボタン、１４４ 設定表示部、１４６ アーム、１４８ クレーン駆動部、１５０ 立柱、１５２ 入力部、１５４ クレーン制御部、１５６ 移動判定部、１６０ 通信部、１６２ データ処理部、１６４ データ格納部、１６６ 送信部、１６８ 受信部、１８０ ユーザインタフェース処理部、１８２ 機構部、１８４ 通信部、１８６ データ処理部、１８８ データ格納部、１９０ 出力部、１９４ 送信部、１９６ 受信部、３００ 宣伝画像取得部、３０２ モデル学習部、３０８ データ加工部、３１２ データ取得部、３１４ データ提供部、３３０ 教師データ記憶部、３３２ 宣伝画像記憶部、３３４ 派生画像記憶部、３３６ 判定モデル記憶部、３３８ 店舗データ記憶部、３４０ 景品データ記憶部、３４２ プレイヤデータ記憶部、４０４ 物品特定部、４０５ 画像抽出部、４０６ 非対象物判定部、４１２ データ取得部、４１４ データ提供部、４３６ 判定モデル記憶部、５００ 宣伝画像、５０１ 景品領域、５０２ 背景画像、５０４ 派生画像、５０６ 前景画像、５０８ 派生画像、６００ 全体画像、６０１ 全体画像、６０２ 部分画像、６０４ クッションボール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】