(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-23
(45)【発行日】2023-08-31
(54)【発明の名称】サーバ及びおしぼり管理システム
(51)【国際特許分類】
G06Q 10/0832 20230101AFI20230824BHJP
G06Q 50/10 20120101ALI20230824BHJP
【ＦＩ】
G06Q10/0832
G06Q50/10
【請求項の数】
11
(21)【出願番号】P 2021211871
(22)【出願日】2021-12-27
(65)【公開番号】P2023096251
(43)【公開日】2023-07-07
【審査請求日】2022-01-05
(73)【特許権者】
【識別番号】505007825
【氏名又は名称】ＦＳＸ株式会社
(74)【代理人】
【識別番号】100112427
【弁理士】
【氏名又は名称】藤本 芳洋
(72)【発明者】
【氏名】堺 康行
(72)【発明者】
【氏名】渡辺 拓
【審査官】牧 裕子
(56)【参考文献】
【文献】特開２０２０－０８０００３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０１３０２１４（ＵＳ，Ａ１）
【文献】堺 康行 ほか，深層学習によるレンタルおしぼり回収数の自動推定，情報処理学会全国大会講演論文集，Vol.83rd，No.1，2021年03月04日，p.1.125-1.126
【文献】業界新開発！「おしぼりAI 」アプリ スマホで撮影するだけで、おしぼり回収枚数をAIが自動測定，2021年11月25日，インターネット：<URL: https://www.atpress.ne.jp/news/286710>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、携帯端末において前記回収ボックスに収容された使用済おしぼりを上方から撮影した推計用画像を受信する受信部と、
前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記受信部により受信した前記推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計する推計部と、
前記推計部により推計された推計結果を前記携帯端末に向けて送信する送信部と、
前記推計結果を修正した修正枚数を取得する修正枚数取得部と、を備え、
前記学習モデルは、
前記学習用画像及び過去に撮影された前記推計用画像であって前記推計結果を修正した修正済推計用画像を前記入力値とし前記使用済おしぼりの枚数を前記出力値する前記ニューラルネットワークにより深層学習させた１次深層学習モデルを用いて、過去に撮影された前記推計用画像であって前記推計結果を修正していない無修正推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計し、
前記１次深層学習モデルによる前記使用済おしぼりの枚数の推計結果を用いて、前記学習用画像、前記修正済推計用画像及び前記無修正推計用画像を前記入力値とし前記使用済おしぼりの枚数を前記出力値とする前記ニューラルネットワークにより深層学習させた２次深層学習モデルであることを特徴とするサーバ。
【請求項2】
前記学習モデル記憶部は、前記回収ボックスの外枠より外側の画像データを削除した前記学習用画像を用いて学習させた前記学習モデルを記憶し、前記推計部は、前記回収ボックスの外枠より外側の画像データを削除した前記推計用画像を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１記載のサーバ。
【請求項3】
前記推計用画像に写る前記回収ボックスの色を、前記学習用画像に写る前記回収ボックスの色または近似色に補正する色補正部を備えることを特徴とする請求項１または請求項２に記載のサーバ。
【請求項4】
回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、
携帯端末において前記回収ボックスに収容された使用済おしぼりを上方から撮影した複数の推計用画像を受信する受信部と、
前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記受信部により受信した前記複数の推計用画像のそれぞれから前記ニューラルネットワークにより前記使用済おしぼりの枚数をそれぞれ推計する推計部と、
前記使用済おしぼりの枚数に関する演算を行う演算部と、
前記推計部により推計された複数の推計結果を前記携帯端末に向けて送信する送信部と、を備え、
前記演算部は、前記推計部により推計された複数の推計結果の平均値を算出することを特徴とするサーバ。
【請求項5】
前記複数の推計結果の異常値を検出する異常値検出部を更に備え、前記演算部は、前記異常値検出部により検出された前記異常値を除いた前記複数の推計結果の前記平均値を算出することを特徴とする請求項４記載のサーバ。
【請求項6】
前記推計用画像に基づいて前記回収ボックス内における前記使用済おしぼりの密度を検出する密度検出部を更に備え、前記推計部は、前記密度検出部により検出された前記密度を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項４または請求項５記載のサーバ。
【請求項7】
前記回収ボックス内における前記使用済おしぼりの密度が所定密度より大きいか否かを取得する密度取得部を更に備え、前記推計部は、前記密度取得部において取得した結果を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項４または請求項５記載のサーバ。
【請求項8】
前記学習モデル記憶部は、前記学習用画像から前記回収ボックスの外枠及び前記回収ボックスに収容された使用済おしぼり群の外縁の輪郭を抽出し、抽出された前記回収ボックスの外枠に対する前記使用済おしぼり群の外縁の輪郭から前記使用済おしぼりの枚数を推計するためのパラメーターが組み込まれた前記学習モデルを記憶することを特徴とする請求項１～請求項７の何れか一項に記載のサーバ。
【請求項9】
おしぼりの種類を取得する種類取得部と、前記おしぼりの種類毎に設定された前記おしぼりの重さに基づく補正係数を記憶する補正係数記憶部と、を更に備え、
前記推計部は、前記種類取得部により取得した前記おしぼりの種類の前記補正係数を前記補正係数記憶部から取得し、取得した前記補正係数を用いて前記使用済おしぼりの枚数を補正することを特徴とする請求項１～請求項８の何れか一項に記載のサーバ。
【請求項10】
回収ボックスに収容された第１使用済おしぼりを上方から撮影した第１学習用画像を入力値とし前記第１使用済おしぼりとサイズが異なる前記回収ボックスに収容された第２使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、携帯端末において前記回収ボックスに収容された前記第２使用済おしぼりを上方から撮影した推計用画像を受信する受信部と、
前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記受信部により受信した前記推計用画像から前記ニューラルネットワークにより前記第２使用済おしぼりの枚数を推計する推計部と、
前記推計部により推計された推計結果を前記携帯端末に向けて送信する送信部と、
を備え、
前記学習モデルは、
前記ニューラルネットワークの入力層において前記第１学習用画像の画像データを用い、前記ニューラルネットワークの出力層において前記回収ボックスに収容された前記第２使用済おしぼりを上方から撮影した第２学習用画像の画像データを用いて学習させた学習モデルであることを特徴とするサーバ。
【請求項11】
携帯端末、請求項１～請求項１０の何れか一項に記載のサーバ及び基幹システムを備えるおしぼり管理システムであって、前記携帯端末は、
おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する第１情報受信部と、
前記第１情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する第１情報送信部と、を備え、
前記基幹システムは、
前記回収前店舗情報を記憶する情報記憶部と、
前記情報記憶部に記憶されている前記回収前店舗情報を前記携帯端末に送信する第２情報送信部と、
前記携帯端末から送信される前記回収後店舗情報を受信する第２情報受信部と、
前記第２情報受信部より受信した前記回収後店舗情報を前記情報記憶部に記憶させることにより、前記回収前店舗情報を更新する更新部と、
を備えることを特徴とするおしぼり管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、回収ボックス内の使用済おしぼりの枚数を推計するサーバ及びおしぼり管理システムに関するものである。
【背景技術】
【0002】
飲食店などに貸し出されるおしぼりは、飲食店で使用された後、回収ボックス内に無造作に入れられた状態で回収される。おしぼりの配送及び回収を行う配送員は、次回おしぼりを納品する枚数や紛失したおしぼりの枚数を把握するために、回収ボックス内にある使用済おしぼりの枚数を確認する必要がある。しかしながら、おしぼりを一枚一枚数える作業は非効率的であり、もとより数える時間はない。したがって、配送員は回収ボックス内にあるおしぼりの量を視認して、経験則からおしぼりの枚数を推測する。
【0003】
しかしながら、おしぼり回収経験の浅い配送員にとっておしぼりの枚数を推測することは困難である。また、様々な配送員がおしぼりの枚数を推測するため推測枚数にムラが生じる。よって、おしぼりを計数するシステムを構築することが望まれている。例えば、個体を計数するシステムとして特許文献１記載の個体計数システムが知られている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１５３０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１記載の個体計数システムは、魚などの移動する個体を計数対象としており、おしぼりのように動かない物体を計数するシステムでない。おしぼりはサイズが決まっており、動くこともないが、回収ボックス内に不均一に収容されるため、密度が一定でなく、回収ボックス内のおしぼりの枚数を回収ボックスの体積に基づき算出することはできない。また、使用済おしぼりに含まれる水分量はそれぞれ異なることから使用済おしぼりの重さも各々異なり、且つ同一のおしぼりであっても使用前のおしぼりと使用済おしぼりとでは重さが異なるため、回収ボックス内のおしぼりの枚数をおしぼりが収容された回収ボックスの重さに基づき算出することもできない。
【0006】
本発明の目的は、回収ボックス内に収容された使用済おしぼりの枚数を迅速に推計することができるサーバ及びおしぼり管理システムを提供することである。
【課題を解決するための手段】
【0007】
本発明のサーバは、回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、携帯端末において前記回収ボックスに収容された使用済おしぼりを上方から撮影した推計用画像を受信する受信部と、前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記受信部により受信した前記推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計する推計部と、前記推計部により推計された推計結果を前記携帯端末に向けて送信する送信部とを備えることを特徴とする。
【0008】
また、本発明のサーバは、前記推計結果を修正した修正枚数を取得する修正枚数取得部を備え、前記学習モデルは、前記学習用画像及び過去に撮影された前記推計用画像であって前記推計結果を修正した修正済推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた１次深層学習モデルを用いて、過去に撮影された前記推計用画像であって前記推計結果を修正していない無修正推計用画像における前記使用済おしぼりの枚数を推計し、前記学習用画像、前記修正済推計用画像及び前記１次深層学習モデルを用いて推計された前記無修正推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた２次深層学習モデルであることを特徴とする。
【0009】
また、本発明のサーバは、前記学習モデル記憶部が前記回収ボックスの外枠より外側の画像データを削除した前記学習用画像を用いて学習させた前記学習モデルを記憶し、前記推計部は、前記回収ボックスの外枠より外側の画像データを削除した前記推計用画像を用いて前記使用済おしぼりの枚数を推計することを特徴とする。
【0010】
また、本発明のサーバは、前記推計用画像に写る前記回収ボックスの色を、前記学習用画像に写る前記回収ボックスの色または近似色に補正する色補正部を備えることを特徴とする。
【0011】
また、本発明のサーバは、前記推計用画像に基づいて前記回収ボックス内における前記使用済おしぼりの密度を検出する密度検出部を更に備え、前記推計部は、前記密度検出部により検出された前記密度を用いて前記使用済おしぼりの枚数を推計することを特徴とする。
【0012】
また、本発明のサーバは、前記回収ボックス内における前記使用済おしぼりの密度が所定密度より大きいか否かを取得する密度取得部を更に備え、前記推計部は、前記密度取得部において取得した結果を用いて前記使用済おしぼりの枚数を推計することを特徴とする。
【0013】
また、本発明のサーバは、前記使用済おしぼりの枚数に関する演算を行う演算部を更に備え、前記受信部は、複数の前記推計用画像を受信し、前記推計部は、複数の前記推計用画像内の前記使用済おしぼりの枚数をそれぞれ推計し、前記演算部は、前記推計部により推計された複数の推計結果の平均値を算出することを特徴とする。
【0014】
また、本発明のサーバは、前記複数の推計結果の異常値を検出する異常値検出部を更に備え、前記演算部は、前記異常値検出部により検出された前記異常値を除いた前記複数の推計結果の前記平均値を算出することを特徴とする。
【0015】
また、本発明のサーバは、前記学習モデル記憶部が前記学習用画像から前記回収ボックスの外枠及び前記回収ボックスに収容された使用済おしぼり群の外縁の輪郭を抽出し、抽出された前記回収ボックスの外枠に対する前記使用済おしぼり群の外縁の輪郭から前記使用済おしぼりの枚数を推計するためのパラメーターが組み込まれた前記学習モデルを記憶することを特徴とする。
【0016】
また、本発明のサーバは、おしぼりの種類を取得する種類取得部と、前記おしぼりの種類毎に設定された前記おしぼりの重さに基づく補正係数を記憶する補正係数記憶部と、を更に備え、前記推計部は、前記種類取得部により取得した前記おしぼりの種類の前記補正係数を前記補正係数記憶部から取得し、取得した前記補正係数を用いて前記使用済おしぼりの枚数を補正することを特徴とする。
【0017】
また、本発明のサーバは、回収ボックスに収容された第１使用済おしぼりを上方から撮影した学習用画像を入力値とし前記第１使用済おしぼりと異なる前記回収ボックスに収容された第２使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、携帯端末において前記回収ボックスに収容された前記第１使用済おしぼりを上方から撮影した推計用画像を受信する受信部と、前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記受信部により受信した前記推計用画像から前記ニューラルネットワークにより前記第１使用済おしぼりの枚数を推計する推計部と、前記推計部により推計された推計結果を前記携帯端末に向けて送信する送信部とを備えることを特徴とする。
【0018】
また、本発明のおしぼり管理システムは、携帯端末、本発明のサーバ及び基幹システムを備えるおしぼり管理システムであって、前記携帯端末は、おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する第１情報受信部と、前記第１情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する第１情報送信部とを備え、前記基幹システムは、前記回収前店舗情報を記憶する情報記憶部と、前記情報記憶部に記憶されている前記回収前店舗情報を前記携帯端末に送信する第２情報送信部と、前記携帯端末から送信される前記回収後店舗情報を受信する第２情報受信部と、前記第２情報受信部より受信した前記回収後店舗情報を前記情報記憶部に記憶させることにより、前記回収前店舗情報を更新する更新部とを備えることを特徴とする。
【発明の効果】
【0019】
本発明によれば、回収ボックス内に収容された使用済おしぼりの枚数を迅速に推計することができるサーバ及びおしぼり管理システムを提供することができる。
【図面の簡単な説明】
【0020】
【図1】第１の実施の形態に係るおしぼり管理システムの構成を示すブロック図である。
【図2】第１の実施の形態に係るクラウドサーバのシステム構成を示すブロック図である。
【図3】第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。
【図4】第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。
【図5】第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。
【図6】第１の実施の形態に係るおしぼり管理システムが回収ボックスに収容された使用済おしぼりの枚数を推計するために実行する処理について説明するためのフローチャートである。
【図7】第２の実施の形態に係るスマートフォンの表示部における表示例を示す図である。
【図8】第２の実施の形態に係るスマートフォンの表示部における表示例を示す図である。
【図9】第２の実施の形態に係る標準学習モデルについて説明するための図である。
【図10】第２の実施の形態に係る第１種類学習モデルの正解ラベルと推計結果との平均二乗誤差を示すグラフである。
【図11】第２の実施の形態に係るおしぼり管理システムが回収ボックスに収容された使用済おしぼりの枚数を推計するために実行する処理について説明するためのフローチャートである。
【発明を実施するための形態】
【0021】
以下、図面を参照して本発明の第１の実施の形態に係るおしぼり管理システムについて説明する。図１は、第１の実施の形態に係るおしぼり管理システムの構成について説明するためのブロック図である。第１の実施の形態に係るおしぼり管理システム１は、飲食店等の店舗に貸し出される貸しおしぼりの枚数等を管理するためのシステムであって、図１に示すように、複数のスマートフォン２ａ，２ｂ，２ｃ、クラウドサーバ４及び基幹システム６を備えている。
【0022】
スマートフォン２ａ～２ｃは、店舗におしぼりを配送し且つ店舗から使用済おしぼりを回収する配送員が所持する携帯端末（携帯情報端末）であって、タブレット等でもよい。クラウドサーバ４は、スマートフォン２ａ～２ｃからアップロードされるデータを収集及び保管するサーバ、並びに回収ボックスに収容されている使用済おしぼりの枚数を推計するおしぼり枚数推計システムとして機能するサーバであって、図２は、クラウドサーバ４のシステム構成を示すブロック図である。なお、クラウドサーバ４は、物理サーバなど他のサーバでもよい。基幹システム６は、社屋内に配置されるパソコン等である。スマートフォン２ａ～２ｃ、クラウドサーバ４及び基幹システム６は、ネットワーク８により互いに接続されている。なお、図１においては、３台のスマートフォン２ａ～２ｃがネットワーク８に接続されている場合を例示しているが、実際にはスマートフォン２ａ～２ｃと同様の構成を有する多数のスマートフォンがネットワーク８に接続されている。また、この実施の形態においては、クラウドサーバ４及び基幹システム６がネットワーク８により接続される場合を例に挙げているが、サーバと基幹システムとが一体に形成されたシステム、即ちサーバ機能（使用済おしぼりの枚数を推計するおしぼり枚数推計システムとしての機能を含む）を備えた基幹システムを用いてもよい。
【0023】
スマートフォン２ａは、図１に示すように、スマートフォン２ａの各部を統括的に制御する制御部１０を備えている。制御部１０には、入力部１２、撮影部１４、データ記憶部１６、表示部１８及び通信部２０が接続されている。
【0024】
入力部１２は、タッチパネル及びボタン等であって、使用済おしぼりを回収する際、おしぼりを使用した店舗の情報（店コード）及びおしぼりの種類（おしぼりＡかおしぼりＢか）等を入力する（図３参照）。また、入力部１２は、回収ボックス内における使用済おしぼりの密度が所定密度より大きいか否か（「ぎゅうぎゅう」か「ふわふわ」か）を入力する（図３参照）。撮影部１４は、カメラ等であって、制御部１０（後述する撮影制御部３１）の指示にしたがって、使用済おしぼりを回収する際、回収ボックス内に収容されている使用済おしぼりを上方から撮影する。この実施の形態では、撮影部１４は、３枚の推計用画像（回収ボックスに収容されている使用済おしぼりを上方から撮影した画像）を撮影する。
【0025】
データ記憶部１６は、撮影部１４により撮影された画像及び配送員が使用済おしぼりを回収する店舗に関する店舗情報２４等を記憶する。店舗情報２４には、配送コース（配送エリア）コード、店コード、おしぼりの種類（おしぼりＡまたはＢ）、直近任意回数のおしぼり回収実績平均枚数、前回納品したおしぼりの枚数、前回回収したおしぼりの枚数、及び店舗におけるおしぼり在庫枚数等の回収前店舗情報が含まれている。
【0026】
表示部１８は、液晶表示パネル等であって、制御部１０（後述する表示制御部３４）の指示にしたがって店舗及びおしぼり情報を入力する画面及びクラウドサーバ４により推計されたおしぼり枚数の推計結果（後述する）を表示する画面等を表示する。図３～図５は、この実施の形態に係るスマートフォン２ａの表示部１８における表示例を示す図である。図３～図５については、後述する。
【0027】
通信部２０は、ネットワーク８を介してクラウドサーバ４及び基幹システム６と通信する。具体的には、通信部２０は、制御部１０の指示にしたがって、入力部１２を介して入力された配送コースに含まれる店舗情報、即ちおしぼりを配送する店舗、店舗が利用するおしぼりの種類、直近任意回数のおしぼり回収実績平均数、前回納品したおしぼりの枚数、前回回収したおしぼりの枚数、店舗におけるおしぼり在庫枚数、及び店舗へのおしぼり納品停止フラグ等の回収前店舗情報を、基幹システム６からネットワーク８を介して受信する。また、通信部２０は、撮影部１４により撮影された３枚の推計用画像、入力部１２により入力されたおしぼりの種類及び入力部１２により入力された使用済おしぼりの密度を、クラウドサーバ４にネットワーク８を介して送信する。また、通信部２０は、制御部１０の指示にしたがって、クラウドサーバ４において推計されたおしぼり枚数結果を、クラウドサーバ４からネットワーク８を介して受信する。また、通信部２０は、制御部１０の指示にしたがって、基幹システム６から受信した回収前店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、クラウドサーバ４にネットワーク８を介して送信する。
【0028】
また、制御部１０は、取得部３０、撮影制御部３１及び表示制御部３４を備えている。取得部３０は、入力部１２を介して入力された店コード等の各種情報及び撮影部１４により撮影された画像を取得する。撮影制御部３１は、表示部１８に表示される外側のガイド枠１９ａ及び内側のガイド枠１９ｂ（図３参照）の間に回収ボックスの外枠が収まった際、撮影部１４に推計用画像を撮影させる。
【0029】
表示制御部３４は、図３に示す店舗及びおしぼり情報を入力する画面１８ａ、図４に示すクラウドサーバ４により推計されたおしぼり枚数の推計結果を示す回収登録画面１８ｂ及び図５に示すおしぼりの適正納品枚数を示す納品登録画面１８ｃ等を表示部１８に表示させる。また、表示制御部３４は、撮影部１４により推計用画像を撮影する際、表示部１８にライブビュー画像を表示させると共に、撮影範囲に対する回収ボックスの外枠の位置をガイドするガイド枠１９ａ，１９ｂを表示させる（図３参照）。なお、スマートフォン２ｂ及び２ｃの構成は、スマートフォン２ａの構成と同一のため、説明を省略する。
【0030】
次に、クラウドサーバ４の構成について説明する。クラウドサーバ４は、配送員が使用済おしぼりを回収する際に、回収ボックスに収容されている使用済おしぼりの枚数を、人口知能（ＡＩ）を用いて推計するおしぼり枚数推計システムを含み、図２に示すように、クラウドサーバ４の各部を統括的に制御する制御部３６を備えている。制御部３６には、データ記憶部３８及び通信部４０が接続されている。
【0031】
データ記憶部３８には、使用済おしぼりの回収を終えた後に各スマートフォン２ａ～２ｃより送信される回収後店舗情報が記憶されている。また、制御部３６による演算処理に必要な情報、後述する推計部３２による推計の際に使用される第１学習モデル２２及び第２学習モデル２３、並びにおしぼりの種類毎に定められている補正係数２６等が記憶されている。
【0032】
第１学習モデル２２及び第２学習モデル２３は、ＡＩを用いて回収ボックスに収容されている使用済おしぼりの枚数を推計するために予め学習させたモデルであって、おしぼり枚数推計システムに予め組み込まれている。なお、第１学習モデル２２及び第２学習モデル２３は、回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させたモデルである。また、第１学習モデル２２及び第２学習モデル２３には、学習用画像から回収ボックスの外枠及び回収ボックスに収容された使用済おしぼり群（回収ボックスの収容されているすべての使用済おしぼり）の外縁の輪郭を抽出し、抽出された回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターも組み込まれている。
【0033】
ニューラルネットワークは入力層、中間層及び出力層に分けられ、入力層では、学習用画像を画素にまでばらばらにしたデータが入力され、入力されたデータから画像の輪郭が抽出される。次に中間層では、入力層にて抽出された画像の輪郭について画像解析が行われ、出力層では中間層にて画像解析された結果に基づいて使用済おしぼりの推計枚数結果が出力される。なお、ニューラルネットワークは、画像の画素毎の明度値０～１×画素数からおしぼりの枚数値（例えば５～３２０枚）を数学的に演算する。中間層には畳み込み層、プーリング層、ドロップアウト層、全結合層及び平坦化層が組み合わせて使用されており、各層には数百～数千万個のパラメーターが保存されている。そして、多数の学習用画像を用いてチューニングさせることにより、入力層から中間層を経て出力層にできるだけ正確な結果（正確なおしぼり枚数）を導き出せるように、各層の上記パラメーターの重みづけを変化させている。
【0034】
ここで、第１学習モデル２２は回収ボックスに収容された使用済おしぼりの密度が所定密度より大きい場合（「ぎゅうぎゅう」の場合）、第２学習モデル２３は回収ボックスに収容された使用済おしぼりの密度が所定密度以下の場合（「ふわふわ」の場合）における学習モデルである。即ち、「ぎゅうぎゅう」の場合と「ふわふわ」の場合とでは、おしぼりが同一であって回収ボックス内のおしぼりの体積が同一であっても、当然におしぼりの枚数は異なるが、この実施の形態においては、密度によって学習モデルを第１学習モデル２２及び第２学習モデル２３に分けることによりおしぼり枚数推計精度を向上させている。
【0035】
なお、この実施の形態に係るおしぼり管理システムにおいては、同一の大きさ及び異なる厚さを有するおしぼりＡ及びおしぼりＢ、即ち厚さの違いにより重さ及び体積が異なるおしぼりＡ及びおしぼりＢを管理しているものとし、第１学習モデル２２及び第２学習モデル２３は、おしぼりＡについて学習させたモデルとする。
【0036】
補正係数２６は、おしぼりの種類毎（この実施の形態においては、おしぼりＡ及びＢ）に定められている係数である。なお、第１学習モデル２２及び第２学習モデル２３がおしぼりＡについて学習させたモデルであるから、おしぼりＡ（基準のおしぼり）の補正係数が１、またはおしぼりＡが基準のおしぼりである旨データ記憶部３８に記憶されている。また、おしぼりＢの補正係数は、基準のおしぼりに対するおしぼりＢの重さと枚数から設定され、データ記憶部３８（補正係数２６）に記憶されている。
【0037】
通信部４０は、ネットワーク８を介して各スマートフォン２ａ～２ｃ及び基幹システム６と通信する。具体的には、通信部４０は、各スマートフォン２ａ～２ｃの撮影部１４により撮影された３枚の推計用画像、各スマートフォン２ａ～２ｃの入力部１２により入力されたおしぼりの種類及び入力部１２により入力された使用済おしぼりの密度を、各スマートフォン２ａ～２ｃからネットワーク８を介して受信する。また、通信部４０は、制御部３６の指示にしたがって、推計部３２において推計されたおしぼり枚数結果を、スマートフォン２ａ～２ｃにネットワーク８を介して送信する。また、通信部４０は、制御部３６の指示にしたがって、回収前の店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、各スマートフォン２ａ～２ｃからネットワーク８を介して受信する。また、通信部４０は、制御部３６の指示にしたがって、各スマートフォン２ａ～２ｃより受信した回収後店舗情報を、基幹システム６にネットワーク８を介して送信する。
【0038】
また、制御部３６は、取得部２９、推計部３２、検出部３３及び演算部３５を備えている。取得部２９は、スマートフォン２ａ～２ｃの撮影部１４により撮影され通信部４０を介して受信した画像及びスマートフォン２ａ～２ｃの入力部１２により入力され通信部４０を介して受信したおしぼりの密度を取得する。また、取得部２９は、制御部３６による演算処理に必要な情報をデータ記憶部３８から取得する。
【0039】
推計部３２は、データ記憶部３８に記憶されている第１学習モデル２２または第２学習モデル２３を用いて、スマートフォン２ａ～２ｃの撮影部１４により回収ボックスに収容された使用済おしぼりを上方から撮影し取得部２９において取得した推計用画像から、使用済おしぼりの枚数を推計する。このとき、推計部３２は、取得部２９において取得した使用済おしぼりの密度が所定密度より大きい場合（「ぎゅうぎゅう」が入力された場合）第１学習モデル２２を、取得部２９において取得した使用済おしぼりの密度が所定密度以下の場合（「ふわふわ」が入力されたる場合）第２学習モデル２３を用いて、使用済おしぼりの枚数を推計する。即ち、ニューラルネットワークの入力層に推計用画像の画素データが入力され、画素データから画像の輪郭が抽出され、中間層において入力層にて抽出された画像の輪郭について画像解析が行われ、出力層において中間層にて画像解析された結果から推計された使用済おしぼりの推計枚数結果が出力される。このとき、推計用画像から回収ボックスの外枠及び回収ボックスに収容された使用済おしぼり群の外縁の輪郭も抽出され、抽出された回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターを用いて使用済おしぼりの推計枚数結果が出力される。
【0040】
なお、第１学習モデル２２または第２学習モデル２３を用いて推計される使用済おしぼりの推計枚数結果は、おしぼりＡの推計枚数結果である。したがって、推計部３２は、おしぼりＢの場合にあっては、取得部２９を介してデータ記憶部３８の補正係数２６からおしぼりＢの補正係数を取得し、おしぼりＡの推計枚数結果からおしぼりＢの推計枚数結果となるように、おしぼりＢの補正係数を用いて使用済おしぼりの推計枚数を補正する。
【0041】
検出部３３は、推計部３２による複数（３個）の推計結果の異常値を検出する。具体的には、検出部３３は、１個目の推計結果と他の推計結果との差が閾値を超えている場合、１個目の推計結果を異常値と判別し、２番目及び３番目の推計結果についても同様の判別を行う。演算部３５は、使用済おしぼりの枚数に関する演算を行う。特に、演算部３５は、推計部３２により推計された複数（３個）の推計結果の平均値を算出する。また、演算部３５は、検出部３３において異常値が検出された場合、検出部３３により検出された異常値を除いた複数（２個）の推計結果の平均値を算出する。
【0042】
次に、基幹システム６の構成について説明する。基幹システム６は、貸しおしぼりに関する全体的な情報を統括して管理し、図１に示すように、基幹システム６の各部を統括的に制御する制御部４２を備えている。制御部４２には、入力部４４、表示部４６、データ記憶部４８及び通信部５０が接続されている。
【0043】
入力部４４は、キーボードやマウス等であって、制御部４２は、基幹システム６のユーザーにより入力部４４を介して入力された入力結果を取得する。表示部４６は、液晶パネル等であって、配送コース情報、店舗情報及びおしぼり情報等の表示を行う。データ記憶部４８には、配送コースコードを含む配送コース（配送エリア）に関する情報である配送コース情報５２、貸しおしぼりを納品している店舗の情報である店舗情報５４、おしぼりの種類等に関する情報であるおしぼり情報５６、並びにその他ユーザー（配送員）のログイン認証キー、認証キーの有効期限、ユーザー名、パスワード、所属会社名及び所属会社のおしぼり納品枚数単位（パッケージ単位）等が記憶されている。
【0044】
通信部５０は、ネットワーク８を介して各スマートフォン２ａ～２ｃ及びクラウドサーバ４と通信する。具体的には、通信部５０は、制御部４２の指示にしたがって、配送コースコードが含まれる店舗情報を回収前店舗情報として、各スマートフォン２ａ～２ｃにネットワーク８を介して送信する。また、通信部５０は、制御部４２の指示にしたがって、回収前の店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、クラウドサーバ４からネットワーク８を介して受信する。制御部４２は、クラウドサーバ４から受信した回収後店舗情報をデータ記憶部４８に記憶させることにより、店舗情報５４を更新する。
【0045】
次に、図面を参照して、第１の実施の形態に係るおしぼり管理システム１を用いて回収ボックスに収容された使用済おしぼりの枚数を推計するおしぼり枚数推計方法について説明する。図６は、回収ボックスに収容された使用済おしぼりの枚数を推計するためにおしぼり管理システム１が実行する処理について説明するためのフローチャートである。
【0046】
まず、配送員が当日おしぼり回収で回る配送コースを確認し、入力部１２を介して配送コースコードを入力（図３に示す「コース」を入力）した後、配送員が所持するスマートフォン２ａの制御部１０は、配送コースに含まれる店舗情報（回収前店舗情報）を、基幹システム６から取得する（ステップＳ１０）。具体的には、制御部１０は、入力部１２を介して配送員より入力された配送コースコードを取得し、通信部２０及びネットワーク８を介して、取得した配送コースコードを基幹システム６に送信し、配送コースに含まれる店舗情報を提供するよう要求する。基幹システム６の制御部４２は、ネットワーク８及び通信部５０を介して、スマートフォン２ａから送信された配送コースコード及び配送コースに含まれる店舗情報の提供要求を受信する。そして、制御部４２は、配送コースコードに紐付けされた店コードの店舗情報を、データ記憶部４８から読み込み、通信部５０及びネットワーク８を介して、スマートフォン２ａに送信する。スマートフォン２ａの制御部１０は、ネットワーク８及び通信部２０を介して、配送コースに含まれる店舗情報を受信し、データ記憶部１６に店舗情報２４として記憶させる。
【0047】
次に、配送員が最初の店舗に到着し使用済おしぼりを回収する際、スマートフォン２ａが配送員から入力部１２を操作することによりおしぼり枚数の推計開始の指示を受けると、制御部１０の表示制御部３４は、表示部１８に図３に示す画面１８ａを表示させる（ステップＳ１１）。この際、表示制御部３４は、ライブビュー画像５８の撮影範囲に対する回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠１９ａ，１９ｂも表示部１８に表示させる。そして、制御部１０は、入力部１２を介して入力された店コード、おしぼり種類及びおしぼり密度を確認する。更に、制御部１０は、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっているか否かを確認する。このとき、予め店舗情報２４からすべての店コードを読み込み、店コードをプルダウン形式で選択できるようにしてもよい。また、店コードが入力されると、店舗情報２４から店コードに紐付けされているおしぼりの種類（店舗が契約しているおしぼりの種類）を読み込み、おしぼりの種類を自動で選択するようにしてもよい。なお、図３においては、「おしぼりＡ」及び「ぎゅうぎゅう」が選択されている場合を例示している。
【0048】
なお、配送コースに含まれているが、当日おしぼりの配送を要しない（おしぼりの回収も納品もなし）店舗については、配送員が図３に示す「配送なし」ボタンをタップする。制御部１０は、入力部１２を介して「配送なし」ボタンがタップされたことを確認すると、該店舗に係る回収前店舗情報に配送済フラグを追加した回収後店舗情報をデータ記憶部１６に記憶させ、ステップＳ１２～Ｓ１７の処理をスキップして後述するステップＳ１８の処理を実行する。
【0049】
また、配送コースに含まれているが、当日おしぼりの回収を要しない（おしぼりの納品のみ有り）店舗については、配送員が図３に示す「回収なし」ボタンをタップする。制御部１０は、入力部１２を介して「回収なし」ボタンがタップされたことを確認すると、該店舗に係る使用済おしぼり回収枚数を０とし、ステップＳ１２～Ｓ１７の処理をスキップする。そして、制御部１０の表示制御部３４は、図４に示す回収登録画面１８ｂを表示させることなく、図５に示す納品登録画面１８ｃを表示部１８に表示させ、制御部１０は、後述するステップＳ１８の処理を実行する。
【0050】
制御部１０の撮影制御部３１は、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっていることを確認した後（ステップＳ１２）、撮影部１４に推計用画像を撮影させる（ステップＳ１３）。撮影部１４は推計用画像を撮影し、制御部１０は撮影部１４により撮影された推計用画像を取得し、データ記憶部１６に推計用画像を記憶させる。なお、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっていることを確認した後、撮影制御部３１が配送員による推計用画像の撮影指示を許可し、配送員から入力部１２を介して撮影指示を受け取ると、撮影部１４に推計用画像を撮影させる構成にしてもよい。
【0051】
次に、制御部１０は、ステップＳ１３において撮影された推計用画像が３枚目の推計用画像であるか否かを判別し（ステップＳ１４）、３枚目でない（１枚目または２枚目である）場合には（ステップＳ１４：Ｎｏ）、ステップＳ１２及びＳ１３の動作を繰り返す。一方、３枚目である場合には（ステップＳ１４：Ｙｅｓ）、制御部１０は、通信部２０を介して、入力部１２により入力されたおしぼり種類及びおしぼり密度、並びにステップＳ１３において撮影された３枚の推計用画像を、クラウドサーバ４に送信する（ステップＳ１５）。
【0052】
クラウドサーバ４の制御部３６は、通信部４０を介して、おしぼり種類及びおしぼり密度、並びに３枚の推計用画像を、スマートフォン２ａから受信すると（ステップＳ３０）、取得部２９においてこれらを取得し、推計部３２において使用済おしぼりの枚数を推計する（ステップＳ３１）。
【0053】
まず、推計部３２は、取得部２９において取得したおしぼり密度が「ぎゅうぎゅう」か「ふわふわ」かを確認し、「ぎゅうぎゅう」の場合には、データ記憶部３８から所定密度より大きい場合の学習モデルである第１学習モデル２２を読み込む。一方、「ふわふわ」の場合には、データ記憶部３８から所定密度以下の場合の学習モデルである第２学習モデル２３を読み込む。更に、推計部３２は、取得部２９において取得したおしぼり種類が「おしぼりＡ」か「おしぼりＢ」かを確認し、「おしぼりＢ」の場合にはデータ記憶部３８の補正係数２６からおしぼりＢの補正係数を読み込む。
【0054】
そして、推計部３２は、おしぼり密度が「ぎゅうぎゅう」且つおしぼり種類が「おしぼりＡ」の場合には、第１学習モデル２２を用いて使用済おしぼりの枚数を推計する。おしぼり密度が「ぎゅうぎゅう」且つおしぼり種類が「おしぼりＢ」の場合には、第１学習モデル２２を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。おしぼり密度が「ふわふわ」且つおしぼり種類が「おしぼりＡ」の場合には、第２学習モデル２３を用いて使用済おしぼりの枚数を推計する。おしぼり密度が「ふわふわ」且つおしぼり種類が「おしぼりＢ」の場合には、第２学習モデル２３を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。
【0055】
具体的には、推計部３２は、推計用画像を入力値としてニューラルネットワークにより画像の輪郭、回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭等を抽出し、回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターを含む数百～数千万個のパラメーターを用いて出力値として使用済おしぼりの推定枚数結果を出力する。
【0056】
推計部３２は、取得部２９において取得した３枚の推計用画像それぞれに対して上述の推計を行い、検出部３３に３個の推計結果を送信する。検出部３３は、３個の推計結果の中に異常値があるか否かを検出し、演算部３５に異常値の有無等の異常値に関する情報を送信する。演算部３５は、検出部３３により異常値が検出されなかった場合、３個の推計結果の平均値を算出し、検出部３３により異常値が検出された場合、検出部３３により検出された異常値を除いた２個の推計結果の平均値を算出する。
【0057】
制御部３６は、使用済おしぼりの枚数の推計を終えると、通信部４０を介して、ステップＳ３１において推計した使用済おしぼり枚数の推計結果を、スマートフォン２ａに送信する（ステップＳ３２）。
【0058】
スマートフォン２ａの制御部１０は、通信部２０を介して、使用済おしぼり枚数の推計結果を、クラウドサーバ４から受信すると（ステップＳ１６）、表示制御部３４を介して、図４に示す回収登録画面１８ｂを表示部１８に表示させる（ステップＳ１７）。図４に例示する推計結果は７３枚であり、図４に示す画像６０は撮影部１４により撮影され且つクラウドサーバ４の推計部３２によるおしぼり枚数の推計に用いられた画像（クラウドサーバ４より送信された推計結果に含まれている）である。そして、制御部１０の表示制御部３４は、配送員から入力部１２を介してＯＫボタンの入力を確認すると、図５に示す納品登録画面１８ｃを表示部１８に表示させる。図５に例示する適正納品枚数は８０本であり、これは０本・４０本・８０本・１２０本の選択肢の中から推定枚数７３枚に最も近い枚数が選択された結果である。適正納品枚数については、配送員により入力部１２を介して訂正可能である。例えば、店舗が休業日であるなど次回の納品を必要としない場合には０本、店舗が時節柄等の理由により通常より多い（少ない）納品を希望する場合には１２０本（４０本）をマニュアルで選択することも可能である。また、その他の欄に０本・４０本・８０本・１２０本以外の枚数を入力することも可能である。そして制御部１０は、通信部２０を介して、推計結果及び納品枚数等を追加した回収後店舗情報をクラウドサーバ４に送信する（ステップＳ１８）。
【0059】
クラウドサーバ４の制御部３６は、通信部４０を介して、推計結果及び納品枚数等を追加した回収後店舗情報を、スマートフォン２ａから受信すると、データ記憶部３８に記憶させる（ステップＳ３３）。
【0060】
図６のフローチャートに示す処理を、配送コースに含まれるすべての店舗に対して行う。なお、ステップＳ１８及びステップＳ３３の処理は、一店一店行う代わりに、回収後店舗情報をスマートフォン２ａのデータ記憶部１６に記憶させておき、数店舗の回収後店舗情報をまとめてクラウドサーバ４に送信するようにしてもよい。基幹システム６は、必要に応じてクラウドサーバ４から回収後店舗情報を受信し、データ記憶部４８の店舗情報５４を更新する。
【0061】
第１の実施の形態に係るおしぼり管理システム１によれば、回収された使用済おしぼりの枚数を一枚一枚数えることなく、迅速に推計することができる。そして、使用済おしぼりの枚数を店舗ごとに管理することにより、おしぼりの契約枚数、季節変動に伴う追加枚数、おしぼりの回収枚数、紛失したおしぼりの枚数、店舗に在庫されている枚数等を適切に管理することができる。また、第１の実施の形態に係るクラウドサーバ４に含まれるおしぼり枚数推計システムを用いれば、おしぼり回収経験の浅い配送員であっても使用済おしぼりの枚数を容易に推計することができる。また、様々な配送員がおしぼりを回収する場合であっても使用済おしぼりの枚数をムラなく推計することができる。
【0062】
なお、上述の実施の形態においては、スマートフォン２ａの撮影部１４が３枚（複数）の推計用画像を撮影する場合を例に挙げて説明したが、撮影部１４が１枚の推計用画像を撮影する構成にしてもよい。この場合には、クラウドサーバ４において検出部３３及び演算部３５を備える必要はなく、推計部３２による推計結果をスマートフォン２ａ～２ｃに送信する。
【0063】
また、上述の実施の形態においては、クラウドサーバ４の検出部３３が１個の推計結果と他２個の推計結果との差が閾値を超えている場合に１個の推計結果が異常値であると検出している。即ち、他２個の推計結果との比較から異常値を検出しているが、同一店舗における他日（若しくは他の月・他の同じ曜日）の推計結果との比較から異常値を検出する構成にしてもよい。具体的には、検出部３３は、同一店舗にて他日のおしぼり推計枚数が４０～６０枚であるにも拘わらず、当日の推計結果が１５０枚である場合、当日の推計結果が異常値であると検出し、クラウドサーバ４の制御部３６は、通信部４０を介して、スマートフォン２ａ～２ｃに再撮影するよう指示する。
【0064】
また、上述の実施の形態においては、回収ボックスに収容されているおしぼりの密度が所定密度より大きいか否かを配送員がスマートフォン２ａ～２ｃの入力部１２を介して入力しているが、クラウドサーバ４の推計部３２において推計用画像に基づいておしぼりの密度を検出する構成にしてもよい。具体的には、推計用画像の画像解析からおしぼりの部分とおしぼりでない部分（おしぼりとおしぼりとの間の隙間）とを抽出し、抽出結果に基づいておしぼりの密度を検出する。また、第１学習モデル２２及び第２学習モデル２３に代えて１つの機械学習モデルを備え、クラウドサーバ４の推計部３２においてこの機械学習モデルを用いて推計用画像の表面の様子（推計用画像に写る使用済おしぼりの最表面の状態）から密度を推定し、密度推定結果を加味した状態で使用済おしぼりの枚数を推定してもよい。
【0065】
また、上述の実施の形態においては、回収ボックスに収容されているおしぼりの密度が所定密度より大きい場合には第１学習モデル２２、所定密度以下の場合には第２学習モデル２３を用いておしぼりの枚数を推計しているが、所定密度より大きいか否かを判別するための学習モデル（密度判別学習モデル）を搭載してもよい。この場合には、密度判別学習モデルを用いて所定密度より大きいか否かを判別し、判別結果から第１学習モデル２２または第２学習モデル２３を選択する。
【0066】
また、上述の実施の形態においてニューラルネットワークを用いて第１学習モデル２２または第２学習モデル２３を作成する際、及び第１学習モデル２２または第２学習モデル２３を用いて使用済おしぼりの枚数を推計する際、入力層に入力される学習用画像または推計用画像の画素データを、回収ボックスの外枠より内側のみの画像の画素データに限定してもよい。即ち、回収ボックスの外枠より外側の画像の画素データを削除した学習用画像及び推計用画像（回収ボックスの外枠より外側であると判別された画像の画素データを０とした学習用画像及び推計用画像）を用いてもよい。これにより枚数情報とは本来無関係の箱外部の物体の写り込みによる精度低下を防止でき、おしぼり枚数の推計に係る効率化を図ることができる。
【0067】
次に、図面を参照して本発明の第２の実施の形態に係るおしぼり管理システムについて説明する。なお、この第２の実施の形態に係るおしぼり管理システムについては、図１及び図２に示すおしぼり管理システム１の構成と同一の構成には同一の符号を用い、その図示及び説明を省略する。
【0068】
第２の実施の形態に係るスマートフォン２ａの表示制御部３４は、図３に示す画面１８ａに代えて、図７に示す店舗及びおしぼり情報を入力する画面１８ｄ、図４に示す回収登録画面１８ｂに代えて、図８に示す推計部３２による推計結果を示す回収登録画面１８ｅ等を表示部１８に表示させる。また、第２の実施の形態に係るおしぼり管理システムにおいては、クラウドサーバ４の推計部３２による推計枚数を、スマートフォン２ａ～２ｃにおいて任意に修正することができる。具体的には、表示部１８に図８に示す画面１８ｅが表示され、配送員が入力部１２を介して枚数修正ボタンを押下（タッチ）すると、表示部１８におしぼりの枚数を入力する画面が表示される。配送員が入力部１２を介しておしぼりの枚数を入力すると、配送員が入力したおしぼりの枚数が修正枚数結果（正解ラベル）として回収後店舗情報に追加され、通信部２０を介してクラウドサーバ４に送信される。クラウドサーバ４の通信部４０は、推計部３２による推計結果を修正した使用済おしぼりの修正枚数結果を追加した回収後店舗情報を受信し、取得部２９は、修正枚数結果を追加した回収後店舗情報を取得する。推計結果を修正した修正枚数結果は、後述する修正済推計用画像データ６４Ａ（図９参照）に追加され、１次深層学習モデル６６（図９参照）を作成する際に用いられる。
【0069】
【0070】
標準学習モデル６１は、標準色（例えばオレンジ色）の回収ボックスに収容される標準色（例えば白色）及び標準サイズのおしぼりＡの枚数を推計するための学習モデルである。なお、おしぼりＢの場合にあっては、標準学習モデル６１を用いたおしぼりＡの推計枚数結果からおしぼりＢの推計枚数結果となるように、おしぼりＢの補正係数を用いて使用済おしぼりの推計枚数を補正する。おしぼりＢのサイズはおしぼりＡのサイズと異なるが、おしぼりＡ及びＢのサイズの差は、おしぼりＡ及びＣやおしぼりＡ及びＤのサイズ差と比較して小さい。したがって、おしぼりＢの推計枚数は、おしぼりＡのための標準学習モデル６１及び補正係数を用いて推計可能であるが、おしぼりＣ及びＤの推計枚数は、おしぼりＡのサイズと大きく異なるため、標準学習モデル６１及び補正係数による推計が困難である。
【0071】
第１種類学習モデルは、標準色の回収ボックスに収容される標準色のおしぼりＣの枚数を推計するための学習モデルである。おしぼりＣは、おしぼりＡ及びＢより大きい（または小さい）サイズを有し、おしぼりＡより需要が少ない。第２種類学習モデルは、標準色の回収ボックスに収容される標準色のおしぼりＤの枚数を推計するための学習モデルである。おしぼりＤは、おしぼりＣと異なるサイズであって、おしぼりＡ及びＢより大きい（または小さい）サイズを有し、おしぼりＡ及びＣより需要が少ない。
【0072】
標準学習モデル６１、第１種類学習モデル、及び第２種類学習モデルは、第１の実施の形態に係る第１学習モデル２２等と同様に、ＡＩを用いて予め学習させたモデルである。標準学習モデル６１は、図９に示すように、１次処理及び２次処理され作成された学習モデルである。１次処理においては、学習用画像データ６２に、これまでに撮影された推計用画像データ６４であって入力部１２において枚数修正された修正済推計用画像データ６４Ａを追加して深層学習させた１次深層学習モデル６６を作成する。
【0073】
２次処理においては、学習用画像データ６２、修正済推計用画像データ６４Ａ、及びこれまでに撮影された推計用画像データ６４であって枚数修正されなかった無修正推計用画像データ６４Ｂを１次深層学習モデル６６により枚数推計（ラベリング）させたラベリング済データ６４Ｃを用いて深層学習させた２次深層学習モデル、即ち標準学習モデル６１を作成する。
【0074】
一般的に学習させる画像データが多いほど高精度な学習モデルを作成することができるが、枚数修正されなかった無修正推計用画像データ６４Ｂをそのまま学習用画像データとして用いるべきでない。無修正推計用画像データ６４Ｂに含まれるおしぼり推計枚数の情報が実際の枚数または近似枚数（正解ラベル）であるか否か判別できないからである。しかしながら、初期学習モデル（学習用画像データ６２のみを用いて学習させた学習モデル）より精度が上がった１次深層学習モデル６６により無修正推計用画像データ６４Ｂをラベリングするため、ラベリング済データ６４Ｃのおしぼり推計枚数は、無修正推計用画像データ６４Ｂのそれと比較して正解ラベルに近い。そして、学習用画像データ６２、修正済推計用画像データ６４Ａ及びラベリング済データ６４Ｃに基づく標準学習モデル（２次深層学習モデル）６１は、学習用画像データ６２及び修正済推計用画像データ６４Ａに基づく１次深層学習モデル６６より、学習させる画像データが多いため、完成度が高く、おしぼりの枚数推計精度も向上する。また、推計用画像データ６４は、学習用画像データ６２と比較して、おしぼり回収場所特有のノイズ、例えば回収ボックスが置かれている地面の映り込み、日影の映り込みなどを含んでいるため、学習用画像データ６２から取得することができないパラメーターを推計用画像データ６４から取得することができる。
【0075】
第１種類学習モデル（第２種類学習モデル）は、画像の特徴抽出（画像解析）が行われる浅い層（入力層及び入力層に近い中間層）において標準学習モデル６１のパラメーターと同一のパラメーターを転用（ファインチューニング）し、おしぼり枚数の推計が行われる深い層（出力層に近い中間層及び出力層）においておしぼりＣ（おしぼりＤ）の学習用画像データを用いて学習させることにより作成された学習モデルである。おしぼりＣ（おしぼりＤ）はおしぼりＡと比較して需要が少なく、おしぼりＣ（おしぼりＤ）の学習用画像データ及び推計用画像データはおしぼりＡのそれより少ない。したがって、おしぼりＣ（おしぼりＤ）の学習用画像データ及び推計用画像データを用いてモデルを作成した場合、学習させる画像データが少ないため画像の特徴抽出を正確に行うことができず、高精度な学習モデルを作成することができない。しかしながら、第１種類学習モデル（第２種類学習モデル）は、データ数が多い標準学習モデル６１のパラメーターを転用（ファインチューニング）するため、学習させるデータの少ないおしぼりＣ（おしぼりＤ）についても高精度なモデルを作成することができる。
【0076】
図１０は、第１種類学習モデルの正解ラベル及び推計枚数の平均二乗誤差を示すグラフであって、（Ａ）は、おしぼりＢの学習用画像データを用いて一から学習させた第１種類学習モデル、（Ｂ）は、浅い層において一般公開されている学習済モデルのパラメーターをファインチューニングし、深い層においておしぼりＣの学習用画像データを用いて学習させることにより作成された学習モデル、（Ｃ）は、浅い層において標準学習モデル６１のパラメーターをファインチューニングし、深い層においておしぼりＣの学習用画像データを用いて学習させることにより作成された学習モデルである。図１０に示すように、（Ｃ）は（Ａ）及び（Ｂ）と比較して明らかに正解ラベルと推計枚数との誤差が少なく、浅い層においてデータ数の多いモデルのパラメーターをファインチューニングしたほうが高精度な学習モデルを作成することができる。
【0077】
また、第２の実施の形態に係るクラウドサーバ４は、色補正部を備えている。色補正部は、スマートフォン２ａの撮影部１４により撮影された推計用画像の色、即ち３バイト（Ｒ．Ｇ．Ｂ）で構成されるＲＧＢカラーのバイト数を検出し、使用済おしぼりの枚数を推計する前に、推計用画像の色を補正する。具体的には、撮影部１４により撮影されクラウドサーバ４の取得部２９において取得した推計用画像内の回収ボックスの色を、標準学習モデル６１、第１種類学習モデル及び第２種類学習モデルを作成する際に用いた学習用画像内の回収ボックスの色（標準色）若しくは近似する色に補正する。推計用画像内の回収ボックスの色のバイト数をＸ．Ｙ．Ｚ、学習用画像内の回収ボックスの色（標準色）をＲ１．Ｇ１．Ｂ１とした場合、（１）Ｒ．Ｇ．Ｂ＝Ｘ．Ｙ．Ｚのバイト配列を（２）Ｒ．Ｂ．Ｇ＝Ｘ．Ｙ．Ｚ、（３）Ｇ．Ｒ．Ｂ＝Ｘ．Ｙ．Ｚ、（４）Ｇ．Ｂ．Ｒ＝Ｘ．Ｙ．Ｚ、（５）Ｂ．Ｒ．Ｇ＝Ｘ．Ｙ．Ｚ及び（６）Ｂ．Ｇ．Ｒ＝Ｘ．Ｙ．Ｚに入れ替えることにより色変換し、（１）～（６）の中から最も近似する値（Ｘ．Ｙ．Ｚ≒Ｒ１．Ｇ１．Ｂ１）を選択する。この実施の形態では、おしぼりＡ～Ｄの色は白（２５５，２５５，２５５）であるから色変換してもおしぼりＡ～Ｄの色は変化しない。
【0078】
次に、図面を参照して、第２の実施の形態に係るおしぼり管理システムを用いて回収ボックスに収容された使用済おしぼりの枚数を推計するおしぼり枚数推計方法について説明する。図１１は、回収ボックスに収容された使用済おしぼりの枚数を推計するためにおしぼり管理システムが実行する処理について説明するためのフローチャートである。
【0079】
まず、スマートフォン２ａの制御部１０は、回収前店舗情報を取得する（ステップＳ２０）。なお、ステップＳ２０の処理は、図６に示すステップＳ１０の処理と同一のため、説明を省略する。次に、制御部１０の表示制御部３４は、表示部１８に図７に示す画面１８ｄを表示させる（ステップＳ２１）。そして、制御部１０は、入力部１２を介して入力された店コードを確認し、店舗情報２４から店コードに紐付けされているおしぼりの種類（店舗が契約しているおしぼりの種類）を読み込む。なお、図７においては、店コード「ＸＸＸＸ」の店舗が契約しているおしぼりＡが選択されている場合を例示している。
【0080】
次に、制御部１０の撮影制御部３１は、ライブビュー画像５８内の所定の位置（この実施の形態においてはライブビュー画像５８の外枠）に回収ボックスの外枠が収まっていることを確認した後、撮影部１４に推計用画像を撮影させる（ステップＳ２２）。次に、制御部１０は、通信部２０を介して、入力部１２により入力されたおしぼりの種類及びステップＳ２２において撮影された推計用画像を、クラウドサーバ４に送信する（ステップＳ２３）。
【0081】
クラウドサーバ４の制御部３６は、通信部４０を介して、おしぼりの種類及び推計用画像をスマートフォン２ａから受信すると（ステップＳ４０）、取得部２９においてこれらを取得する。次に、制御部３６は、おしぼりの種類に基づき、使用済おしぼりの枚数推計に用いる学習モデルを選択し、選択された学習モデルを読み込む（ステップＳ４１）。即ち、おしぼりＡが選択されている場合には標準学習モデル６１、おしぼりＢが選択されている場合には標準学習モデル６１及び補正係数、おしぼりＣが選択されている場合には第１種類学習モデル、おしぼりＤが選択されている場合には第２種類学習モデルを読み込む。
【0082】
次に、制御部３６は、ステップＳ２２において撮影した推計用画像に写る回収ボックスの色を補正する（ステップＳ４２）。具体的には、制御部３６は、色補正部において推計用画像の３バイト（Ｒ．Ｇ．Ｂ）で構成されるＲＧＢカラーのバイト数を検出し、Ｒ．Ｇ．Ｂのバイト配列を入れ替えることにより色変換する。そして制御部３６は、色変換した６種類の中から、標準学習モデル６１、第１種類学習モデル及び第２種類学習モデルを作成する際に用いた学習用画像内の回収ボックスの色（標準色）に最も近似するものを選択する。
【0083】
次に、制御部３６の推計部３２は、使用済おしぼりの枚数を推計する（ステップＳ４３）。推計部３２は、おしぼりの種類が「おしぼりＡ」の場合には標準学習モデル６１を用いて使用済おしぼりの枚数を推計する。おしぼりの種類が「おしぼりＢ」の場合には第１学習モデル２２を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。おしぼりの種類が「おしぼりＣ」の場合には第１種類学習モデルを用いて使用済おしぼりの枚数を推計する。おしぼりの種類が「おしぼりＤ」の場合には第２種類学習モデルを用いて使用済おしぼりの枚数を推計する。具体的な処理については、図６に示すステップＳ３１の処理と同一のため、説明を省略する。
【0084】
制御部３６は、使用済おしぼりの枚数の推計を終えると、通信部４０を介して、ステップＳ４３において推計した使用済おしぼり枚数の推計結果を、スマートフォン２ａに送信する（ステップＳ４４）。
【0085】
スマートフォン２ａの制御部１０は、通信部２０を介して、使用済おしぼり枚数の推計結果を、クラウドサーバ４から受信すると（ステップＳ２４）、表示制御部３４を介して、図８に示す回収登録画面１８ｅを表示部１８に表示させる（ステップＳ２５）。次に、制御部１０は、配送員により入力部１２を介して枚数修正ボタンが押下されたか否かを判別する（ステップＳ２６）。ステップＳ２６において枚数修正ボタンが押下されたと判別された場合には（ステップＳ２６：Ｙｅｓ）、制御部１０は、表示制御部３４を介して、図示しない枚数修正入力画面を表示部１８に表示させる（ステップＳ２７）。そして、制御部１０は、配送員により入力部１２を介して入力された使用済おしぼりの修正枚数（推計結果の修正枚数）を取得し、入力された枚数を修正枚数結果（正解ラベル）として回収後店舗情報に追加する。そして、制御部１０の表示制御部３４は、配送員から入力部１２を介してＯＫボタンの入力を確認すると、図５に示す納品登録画面１８ｃを表示部１８に表示させ、ステップＳ２８の処理に進む。
【0086】
一方、ステップＳ２６において枚数修正ボタンが押下されずに、ＯＫボタンが押下された場合には（ステップＳ２６：Ｎｏ）、制御部１０の表示制御部３４は、図５に示す納品登録画面１８ｃを表示部１８に表示させ、ステップＳ２８の処理に進む。具体的な処理については、図６に示すステップＳ１８の処理と同一のため、説明を省略する。
【0087】
クラウドサーバ４の制御部３６は、通信部４０を介して、推計結果、修正枚数結果及び納品枚数等を追加した回収後店舗情報を、スマートフォン２ａから受信すると、データ記憶部３８に記憶させる（ステップＳ４５）。
【0088】
図１１のフローチャートに示す処理を、配送コースに含まれるすべての店舗に対して行う。なお、ステップＳ２８及びステップＳ４５の処理は、ステップＳ１８及びステップＳ３３の処理と同様に、一店一店行う代わりに、回収後店舗情報をスマートフォン２ａのデータ記憶部１６に記憶させておき、数店舗の回収後店舗情報をまとめてクラウドサーバ４に送信するようにしてもよい。基幹システム６は、必要に応じてクラウドサーバ４から回収後店舗情報を受信し、データ記憶部４８の店舗情報５４を更新する。
【0089】
第２の実施の形態に係るおしぼり管理システムによれば、回収された使用済おしぼりの枚数を一枚一枚数えることなく、迅速に推計することができる。そして、使用済おしぼりの枚数を店舗ごとに管理することにより、おしぼりの契約枚数、季節変動に伴う追加枚数、おしぼりの回収枚数、紛失したおしぼりの枚数、店舗に在庫されている枚数等を適切に管理することができる。
【0090】
また、第２の実施の形態に係るクラウドサーバ４に含まれるおしぼり枚数推計システムを用いれば、おしぼり回収経験の浅い配送員であっても使用済おしぼりの枚数を容易に推計することができる。また、様々な配送員がおしぼりを回収する場合であっても使用済おしぼりの枚数をムラなく推計することができる。
【0091】
また、第２の実施の形態に係るクラウドサーバ４によれば、２次深層学習モデルである標準学習モデル６１を用いるため、使用済おしぼりの枚数を精度よく推計することができる。また、学習用画像データ及び推計用画像データの少ないおしぼりＣ及びＤの第１種類学習モデル及び第２種類学習モデルにおいて、データ数が多い標準学習モデル６１のパラメーターをファインチューニングするため、高精度な学習モデルを作成することができる。
【0092】
また、第２の実施の形態に係るクラウドサーバ４によれば、色補正部を備えているため、学習モデル作成に用いた学習用画像の回収ボックスの色と撮影部１４により撮影された推計用画像の回収ボックスの色とが異なる場合、推計用画像の回収ボックスの色を学習用画像の回収ボックスの色に手軽に近似させることができる。したがって、回収ボックスの色が異なることによる使用済おしぼりの推計枚数の精度低下を抑制することができる。
【0093】
なお、第２の実施の形態に係るクラウドサーバ４おいては、色補正部を備え、推計用画像の回収ボックスの色を学習用画像の回収ボックスの色に近似させる処理を行っているが、色補正部を備えずに、ＲＧＢのバイト配列を入れ替えた６種類それぞれについて作成された学習モデルを搭載する構成にしてもよい。この場合には、推計用画像の回収ボックスの色を検出し、検出結果に基づいて最適な学習モデルを選択する。また、第２の実施の形態においては、クラウドサーバ４が色補正部を備えているが、スマートフォン２ａ～２ｃが色補正部を備えるようにしてもよい。この場合には、スマートフォン２ａ～２ｃにおいてまず推計用画像の回収ボックスの色を補正し、色補正後の推計用画像をクラウドサーバ４に送信する。
【符号の説明】
【0094】
１…おしぼり管理システム、２ａ～２ｃ…スマートフォン、４…クラウドサーバ、６…基幹システム、８…ネットワーク、１０…制御部、１２…入力部、１４…撮影部、１６…データ記憶部、１８…表示部、２０…通信部、２２…第１学習モデル、２３…第２学習モデル、２４…店舗情報、２６…補正係数、２９…取得部、３０…取得部、３１…撮影制御部、３２…推計部、３３…検出部、３４…表示制御部、３５…演算部、３６…制御部、３８…データ記憶部、４０…通信部、４２…制御部、４４…入力部、４６…表示部、４８…データ記憶部、５０…通信部、５２…配送コース情報、５４…店舗情報、５６…おしぼり情報、６１…標準学習モデル、６２…学習用画像データ、６４…推計用画像データ、６４Ａ…修正済画像データ、６４Ｂ…無修正推計用画像データ、６６…１次深層学習モデル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】