特許 7461814 情報処理プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】情報処理プログラム、装置、及び方法

(51)【国際特許分類】

   G06Q 10/08 20240101AFI20240328BHJP

   B65G 61/00 20060101ALI20240328BHJP

【ＦＩ】

G06Q10/08

B65G61/00 510

【請求項の数】 15

(21)【出願番号】P 2020115246

(22)【出願日】2020-07-02

(65)【公開番号】P2022013005

(43)【公開日】2022-01-18

【審査請求日】2023-04-03

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(73)【特許権者】

【識別番号】309007911

【氏名又は名称】サントリーホールディングス株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】上前 英幸

(72)【発明者】

【氏名】蓮井 美希

(72)【発明者】

【氏名】鈴木 良

(72)【発明者】

【氏名】石川 裕美

【審査官】山田 倍司

(56)【参考文献】

【文献】特開２０１９－１７５１２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００３８８０５（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１２４２４７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０２４７４０４（ＵＳ，Ａ１）

【文献】特開２０１８－９７６２３（ＪＰ，Ａ）

【文献】特開２０１３－８６９５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｂ６５Ｇ ６１／００

(57)【特許請求の範囲】

【請求項1】

出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータに実行させるための情報処理プログラム。

【請求項2】

前記商品に関する情報は、前記商品の販売形態の情報を含み、
前記流通に関する情報は、流通過程を特定する情報、倉庫における保管条件の情報、輸送条件に関する情報、及び流通時の環境情報の少なくとも１つを含む
請求項１に記載の情報処理プログラム。

【請求項3】

流通過程に複数の拠点が含まれる場合、前記流通過程の所定の拠点、及び前記所定の拠点の前段階の拠点の各々における前記外観画像及び前記外部情報に基づいて、前記所定の拠点における前記判定対象の商品の出荷可否を判定する請求項１又は請求項２に記載の情報処理プログラム。

【請求項4】

前記判定対象の商品の前記外観画像との類似度が高い順に上位所定個の前記出荷可否を判定済みの商品の前記外観画像を提示すると共に、提示した前記外観画像に対応する前記判定結果の各々を集計したスコアが所定の基準以上か否かに基づいて、前記判定対象の商品の出荷可否を判定する請求項１～請求項３のいずれか１項に記載の情報処理プログラム。

【請求項5】

前記判定対象の商品の前記外部情報に応じて、前記所定の基準を設定する請求項４に記載の情報処理プログラム。

【請求項6】

前記判定対象の商品が梱包された段ボール箱のまま販売される場合より、前記商品がバラ売りされる場合の方が、前記所定の基準を緩和するように設定する請求項５に記載の情報処理プログラム。

【請求項7】

前記モデルは、前記出荷可否を判定済みの商品を梱包した段ボール箱の破損状態の種類毎に機械学習された複数のモデルを含むか、又は、複数種類の前記破損状態を示す前記外観画像を用いて機械学習された１つのモデルである請求項１～請求項６のいずれか１項記載の情報処理プログラム。

【請求項8】

前記判定対象の商品の出荷可否についての判定結果に対する異議を受け付け、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する請求項１～請求項７のいずれか１項に記載の情報処理プログラム。

【請求項9】

特定した前記異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する、前記出荷可否を判定済みの商品についての前記外観画像及び前記外部情報に対応付けられた判定結果を更新する請求項８に記載の情報処理プログラム。

【請求項10】

流通過程の各拠点において判定された前記判定対象の商品の出荷可否の判定結果を前記判定対象の商品についての前記外部情報と対応付けて記憶し、出荷可能又は出荷不可と判定される頻度が所定値以上の商品及び前記拠点の少なくとも一方を特定する請求項１～請求項９のいずれか１項に記載の情報処理プログラム。

【請求項11】

前記判定対象の商品を出荷不可と判定し、かつ前記判定対象の商品についての前記外観画像及び前記外部情報に基づいて得られる判定値が、安全性に関する特定の基準値を上回る場合、安全性に関するアラートを発信する請求項１～請求項１０のいずれか１項に記載の情報処理プログラム。

【請求項12】

段ボール箱の外観画像について、テスト用の外観画像を提示し、
テスト対象者から、前記テスト用の外観画像に対する出荷可否の判定を受け付け、
前記テスト対象者による判定の正否を提示する
請求項１～請求項１１のいずれか１項に記載の情報処理プログラム。

【請求項13】

前記判定対象の商品についての前記外観画像の取得時に、前記判定対象の商品の識別情報を取得し、
出荷できないとの判定がなされた商品の流通過程を、流通過程の各拠点において取得された前記識別情報に基づいてトレースする
請求項１～請求項１２のいずれか１項に記載の情報処理プログラム。

【請求項14】

出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得する取得部と、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する判定部と、
を含む情報処理装置。

【請求項15】

出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータが実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。

【背景技術】

【0002】

メーカーで製造された商品を段ボール箱で梱包し、卸売業者及び小売業者へと流通させる過程において、流通過程で生じる衝撃を段ボール箱が吸収した際に、段ボール箱に変形や破損が生じる場合がある。また、流通過程において倉庫の保管環境によっては、段ボール箱が変形することがある。このような場合、輸送時、出荷先の倉庫での保管時、消費者による持ち帰り時等に破損が生じるおそれがあり、安全性に問題を生じるとして、流通過程の前段階へ商品が差し戻されることがある。そのため、出荷前及び納品前に、出荷可否を判定することが行われている。

【0003】

流通過程の次段階への出荷可否の判定に関する技術として、例えば、貨物のダメージ情報の管理を行う貨物ダメージ情報管理システムが提案されている。このシステムは、貨物を撮影するモバイル端末と、モバイル端末からの撮影された撮影画像と貨物を特定するキー情報と共に貨物ダメージ情報として管理する貨物ダメージ情報管理装置を有する。また、この貨物ダメージ情報管理装置は、貨物ダメージ情報としてダメージの部位、種類、レベルを自動的に判定するＡＩ画像分析機能を有する。

【0004】

また、検品結果の誤入力を防止して正確な検品作業を行うことができると共に、検品作業に際しての作業者の負担を軽減することができる検品システムが提案されている。この検品システムでは、発注側に設置された発注側端末、受注側に設置された受注側端末、管理サーバーが互いに通信可能なように接続されている。発注側に設けられた検品端末機は、撮像部、温度測定部、読取部を有するスキャナ装置とタッチパネル式の表示部が有線接続により一体化され、発注側端末と通信可能なものとなっている。作業者は、発注側の検品の際には、表示部で検品項目を確認しながら、このスキャナ装置を検品対象となる食品に接触させるだけで、食品の温度値、食品画像を自動的に管理サーバーに取り込む。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１７５１２１号公報

【文献】特開２０１９－３２７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

流通過程の次段階への出荷可否の判定において、その判定基準は、流通過程の各段階、又は、判定を行う作業者等によって異なる場合がある。判定基準が厳し過ぎる場合には、商品の不要な廃棄に繋がるなどの問題がある。また、判定基準が緩過ぎる場合には、流通過程の下流側での苦情の発生等、各流通過程での作業負荷が増大する可能性がある。

【0007】

流通過程の各段階及び各作業者において、判定基準に対する共通認識を持つことが望まれる。しかし、一方で、対象の商品の販売形態や、流通過程における輸送及び保管の条件等によって出荷可否の判定が異なる場合があるため、一律の判定基準を設けることは困難であるという問題がある。

【0008】

一つの側面として、開示の技術は、段ボール箱で梱包された商品の出荷可否を、各種条件を考慮した共通認識の判定基準で判定することを目的とする。

【課題を解決するための手段】

【0009】

一つの態様として、開示の技術は、出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得する。そして、開示の技術は、モデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する。モデルは、出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルである。

【発明の効果】

【0010】

一つの側面として、段ボール箱で梱包された商品の出荷可否を、各種条件を考慮した共通認識の判定基準で判定することができる、という効果を有する。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る情報処理システムにより提供されるサービスの概要を説明するための図である。

【図2】第１及び第２実施形態に係る情報処理システムの概略構成を示すブロック図である。

【図3】第１実施形態に係る情報処理装置の機能ブロック図である。

【図4】撮影画面の一例を示す図である。

【図5】外部情報ＤＢの一例を示す図である。

【図6】判定用ＤＢの一例を示す図である。

【図7】領域確認画面の一例を示す図である。

【図8】判定結果画面の一例を示す図である。

【図9】判定履歴ＤＢの一例を示す図である。

【図10】第１及び第２実施形態に係る情報処理装置として機能するコンピュータの概略構成を示すブロック図である。

【図11】判定処理の一例を示すフローチャートである。

【図12】異議集計処理の一例を示すフローチャートである。

【図13】判定集計処理の一例を示すフローチャートである。

【図14】安全性に関するアラートの一例を示す図である。

【図15】撮影範囲の他の例を説明するための図である。

【図16】第２実施形態に係る情報処理装置の機能ブロック図である。

【図17】問題画面の一例を示す図である。

【図18】解答画面の一例を示す図である。

【図19】テストモード処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0013】

＜第１実施形態＞
まず、図１を参照して、第１実施形態に係る情報処理システムにより提供されるサービスの概要について説明する。第１実施形態における情報処理システムは、流通過程における各拠点から、次の拠点へ商品を出荷する際の出荷可否を判定する。第１実施形態では、流通過程の各拠点が、メーカーの工場等の出荷元、卸売業者、及び小売業者である場合について説明する。各拠点において、商品を次の拠点へ出荷する際、段ボール箱で梱包された商品の外観画像を撮影する。そして、情報処理システムは、各拠点で撮影された外観画像、外部情報、及び判定モデルを用いて、出荷可否の判定を行い（詳細は後述）、判定結果を各拠点へ返す。

【0014】

図２に示すように、第１実施形態に係る情報処理システム１００は、情報処理装置１０と、拠点端末３０Ａ、３０Ｂ、３０Ｃとを含む。情報処理装置１０と、各拠点端末３０Ａ、３０Ｂ、３０Ｃとは、ネットワークを介して接続される。拠点端末３０Ａは拠点Ａで利用される端末であり、拠点端末３０Ｂは拠点Ｂで利用される端末であり、拠点端末３０Ｃは拠点Ｃで利用される端末である。第１実施形態では、拠点Ａは出荷元、拠点Ｂは卸売業者、拠点Ｃは小売業者を想定している。なお、情報処理システム１００に含まれる情報処理装置１０、及び拠点端末３０Ａ、３０Ｂ、３０Ｃの各々の数は図２の例に限定されず、それぞれ複数含まれてもよい。また、出荷元から小売業者までの間の流通過程の拠点として複数の卸売業者又は保管事業者等を含んでもよい。以下、拠点端末３０Ａ、３０Ｂ、３０Ｃの各々を区別なく説明する場合には、単に「拠点端末３０」という。

【0015】

拠点端末３０は、少なくともカメラ、タッチパネルディスプレイ等の情報の入出力機能部、及び情報処理装置１０との間で通信を行うための通信機能部を備えた情報処理端末である。拠点端末３０は、例えば、スマートフォンやタブレット端末等で実現することができる。拠点端末３０上では、情報処理システム１００により提供されるサービスを利用するためのアプリケーションが動作する。

【0016】

情報処理装置１０は、機能的には、図３に示すように、取得部１２と、判定部１４と、作成部１６とを含む。また、情報処理装置１０の所定の記憶領域には、外部情報ＤＢ（Database）２２と、判定用ＤＢ２４と、判定履歴ＤＢ２６とが記憶される。

【0017】

取得部１２は、出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、判定対象の商品に関する情報（以下、「商品情報」という）、及び判定対象の商品の流通に関する情報（以下、「流通情報」という）の少なくとも一方を含む外部情報とを取得する。商品情報は、商品の販売形態の情報を含む。流通情報は、流通過程を特定する情報、倉庫における保管条件の情報、輸送条件に関する情報、及び流通時の環境情報の少なくとも１つを含む。

【0018】

具体的には、取得部１２は、例えば図４に示すような撮影画面４０を拠点端末３０に表示する。図４の例では、撮影画面４０には、拠点端末３０のカメラにより撮影された画像が表示される撮影領域４０２と、出荷対象の商品の基本情報を入力するための基本情報入力領域４０４とが含まれる。基本情報には、商品の識別情報、流通過程における各種条件の特定に用いるための流通条件情報等が含まれる。商品の識別情報は、例えば、商品の銘柄を識別するための商品コード、その商品が製造された製造工場を識別する情報、製造ロット等である。流通条件情報は、例えば、拠点の倉庫への商品の入出庫日時、次の拠点へ商品を輸送する輸送会社の識別情報である輸送会社コード、出荷先である次の拠点の識別情報である拠点コード等が含まれる。また、撮影画面４０には、外観画像と基本情報とを情報処理装置１０へ送信する際に選択される送信ボタン４０６が含まれる。

【0019】

拠点端末３０を操作する作業担当者は、撮影領域４０２に、出荷可否を判定したい商品を梱包した段ボール箱の対象箇所が表示されるように撮影する。また、作業担当者は、基本情報入力領域４０４に商品の基本情報を入力する。作業担当者は、タッチパネルディスプレイ等の入力機能部により基本情報を入力することができる。また、基本情報が文字情報やバーコードで記入された伝票等が段ボール箱に貼付されている場合、伝票等から文字情報やバーコードを読み取ることにより基本情報を入力するようにしてもよい。また、段ボール箱に、基本情報を記録したＲＦＩＤ（radio frequency identifier）等のタグが付与されている場合には、このタグを読み取ることにより基本情報を入力するようにしてもよい。

【0020】

作業担当者は、段ボール箱の外観画像の撮影、及び基本情報の入力が終了すると、送信ボタン４０６を選択する。これにより、拠点端末３０から情報処理装置１０へ外観画像及び基本情報が送信され、情報処理装置１０で受信された外観画像及び基本情報を取得部１２が取得する。

【0021】

取得部１２は、取得した基本情報に基づいて、外部情報ＤＢ２２等から、取得した外観画像に対応する外部情報を取得する。図５に、外部情報ＤＢ２２の一例を示す。図５の例では、外部情報ＤＢ２２には、商品情報テーブル２２２、拠点情報テーブル２２４、輸送情報テーブル２２６等が含まれる。

【0022】

商品情報テーブル２２２には、商品コードに対応付けて、その商品コードが示す商品の商品名、販売形態等が記憶される。販売形態は、例えば、その商品が、梱包された段ボール箱のまま販売されるケース売りか、段ボール箱の中身である商品を取り出して販売するバラ売りかを示す情報である。

【0023】

拠点情報テーブル２２４には、拠点の識別情報である拠点コードに対応付けて、拠点名、拠点区分、住所、倉庫平均湿度等の情報が記憶される。拠点区分は、その拠点が、メーカー等の出荷元か、卸売業者か、又は小売業者かを示す情報である。住所は、その拠点の倉庫の住所である。倉庫平均湿度は、過去の所定期間に測定された倉庫の湿度の平均である。

【0024】

輸送情報テーブル２２６には、輸送会社の識別情報である輸送会社コードに対応付けて、その輸送会社における輸送品質が記憶される。輸送品質は、輸送中の段ボール箱の破損の有無等の過去の輸送実績に基づいて評価された情報である。

【0025】

取得部１２は、例えば、基本情報に含まれる商品コードに対応する販売形態を外部情報として取得する。また、取得部１２は、例えば、外部情報ＤＢ２２から、基本情報に含まれる出荷先の拠点の拠点コードに対応する住所と、基本情報を送信した拠点（以下、「自拠点」という）の住所とを抽出し、両拠点間の輸送経路を探索し、探索した輸送経路から推定される輸送距離を外部情報として取得する。また、取得部１２は、例えば、基本情報に含まれる倉庫への入出庫日時から、その拠点の倉庫における商品の滞留時間を算出し、自拠点に対応する倉庫平均湿度を抽出し、滞留時間×倉庫平均湿度を外部情報として取得する。なお、倉庫平均湿度に替えて、商品が倉庫に保管されていた期間の実際の湿度の推移を取得可能な場合には、取得部１２は、滞留時間×累積湿度を外部情報として取得してもよい。また、取得部１２は、例えば、外部情報ＤＢ２２から、基本情報に含まれる輸送会社コードに対応する輸送品質を外部情報として取得する。

【0026】

なお、取得部１２は、自拠点の拠点区分に応じて、異なる種類の外部情報を取得してもよい。例えば、拠点区分が小売業者の場合、次の出荷先が存在しないため、上記の、推定される輸送距離に替えて、前段階の拠点から自拠点までの実際の輸送距離を外部情報として取得してもよい。実際の輸送距離は、例えば、トラックに搭載されたＧＰＳ、ドライブレコーダ、各種メータ等から取得した情報を記憶する、輸送会社が管理するデータベースにアクセスして取得する等すればよい。なお、自拠点が小売業者の場合、次の出荷先が存在しないため、出荷可否の判定は、自拠点の倉庫への商品の入庫時や、店舗への商品の陳列前に行うことが想定される。

【0027】

また、外部情報ＤＢ２２に含まれる各テーブルは、情報処理装置１０に記憶されている場合に限らず、各拠点、各輸送会社、又はこれらを管理する外部機関等の記憶装置に記憶されていてもよい。この場合、取得部１２は、該当の記憶装置にアクセスして、対応する外部情報を取得する。また、取得部１２は、外部情報ＤＢ２２以外から外部情報を取得してもよい。例えば、取得部１２は、気象情報を管理する外部データベースから、商品が保管及び輸送される際の天気、季節、湿度、温度等の情報を外部情報として取得してもよい。

【0028】

取得部１２は、取得した外観画像、基本情報、及び外部情報を判定部１４へ受け渡す。

【0029】

判定部１４は、取得部１２から取得した外観画像及び外部情報と、判定用ＤＢ２４に記憶されているモデル及び教師データとに基づいて、判定対象の商品の出荷可否を判定する。

【0030】

図６に、判定用ＤＢ２４の一例を示す。図６の例では、判定用ＤＢ２４には、領域抽出モデル２４２、類似データ抽出モデル２４４、及び教師データテーブル２４６が含まれる。領域抽出モデル２４２は、商品を梱包した段ボール箱の外観画像と、その外観画像内での判定対象の領域とを対応付けて機械学習したモデルであり、外観画像から判定対象の領域を抽出するためのモデルである。領域抽出モデル２４２としては、例えばＳＳＤ（Single Shot Multibox Detector）等の物体検出ニューラルネットワークを適用することができる。

【0031】

類似データ抽出モデル２４４は、教師データテーブル２４６に記憶された教師データから、判定対象の商品についての外観画像及び外部情報と類似する教師データを抽出するためのモデルであり、例えば、ＶＡＥ（Variational Auto-Encoder）等を適用することができる。教師データテーブル２４６には、過去に出荷可否を判定済みの商品についての外観画像及び外部情報が教師データとして複数記憶されている。また、教師データテーブル２４６には、各教師データに対応付けて、その教師データが示す商品についての出荷可否の判定結果が記憶されている。さらに、教師データテーブル２４６には、その教師データが示す商品を梱包した段ボール箱の中身を示す情報、すなわち商品の状態を示す情報が対応付けて記憶されている。図６の例では、中身を示す情報として、段ボール箱の中身の商品を撮影した中身画像が記憶されている。

【0032】

領域抽出モデル２４２及び類似データ抽出モデル２４４の各々は、出荷可否を判定済みの商品を梱包した段ボール箱の破損状態の種類毎に機械学習された複数のモデルを含むことができる。又は、領域抽出モデル２４２及び類似データ抽出モデル２４４の各々は、複数種類の破損状態を示す外観画像を用いて機械学習された１つのモデルとすることができる。

【0033】

ここで、段ボール箱の破損状態には複数の種類があり、例えば、胴膨れ、切り欠き部分の開き、ショートフラップに伴う皺、汚れの付着、擦れ、フラップの剥がれ、破れ、濡れ、平面部の内側への折れ、角部の折れ、角部の潰れ等がある。段ボール箱の破損には、これらの種類の破損が複合的に生じる場合があり、そのような場合には、複数種類の破損状態を示す外観画像を用いて機械学習された１つのモデルを用いた場合の方が、精度良く破損の有無に基づく出荷可否を判定することができる。また、モデルが１つの場合には、モデル構成を簡素化できる。一方、特定の種類の破損状態に基づく出荷可否を判定したい場合には、その特定の種類の破損状態の教師データを用いて機械学習されたモデルを用いた方が、精度良く破損の有無に基づく出荷可否を判定することができる。

【0034】

判定部１４は、具体的には、領域抽出モデル２４２を用いて、判定対象の商品の外観画像から、段ボール箱の破損の有無を判定する領域を抽出する。判定部１４は、領域を抽出すると、例えば図７に示すような領域確認画面４２を拠点端末３０に表示し、領域の修正を受け付ける。図７の例では、領域確認画面４２には、外観画像４２２と、抽出した領域を示す枠４２４と、領域を確定し判定を開始する際に選択される判定ボタン４２６とが含まれる。拠点の作業担当者は、領域を修正する場合、枠４２４を操作して所定の領域を指定し、判定ボタン４２６を選択する。

【0035】

判定部１４は、判定対象の領域が確定された外観画像及び外部情報と、教師データテーブル２４６に記憶された教師データの各々との類似度を、類似データ抽出モデル２４４を用いて算出する。判定部１４は、判定対象の商品についての外観画像及び外部情報との類似度が高い順に所定個の教師データを抽出する。判定部１４は、教師データテーブル２４６において、抽出された教師データに対応付けて記憶されている判定結果を用いて、判定対象の商品の出荷可否を判定する。より具体的には、判定部１４は、抽出した所定個の教師データに対応する判定結果の各々を集計したスコアが所定の判定基準以上か否かに基づいて、判定対象の商品の出荷可否を判定する。

【0036】

例えば、判定部１４は、所定個の判定結果における出荷可能又は出荷不可の割合をスコアとすることができる。例えば、出荷可能の割合が３／５以上という判定基準の場合において、５個の判定結果が抽出されている場合、判定部１４は、出荷可能の判定結果が３個以上であれば、判定対象の商品は出荷可能と判定する。また、例えば、判定部１４は、各判定結果に、類似度が高いほど高くなる重みを付与し、出荷可能又は出荷不可の判定結果の重みの和をスコアとしてもよい。

【0037】

また、判定部１４は、判定対象の商品の外部情報に応じて、判定基準を設定してもよい。例えば、判定部１４は、判定対象の商品の販売形態がケース売りの場合よりバラ売りの場合の方が、判定基準を緩和するように設定することができる。また、例えば、判定部１４は、出荷先が卸売業者か小売業者かに応じて判定基準を異ならせてもよい。

【0038】

また、判定部１４は、判定対象の商品についての外観画像から検出される破損個所の数値情報をさらに用いて、判定対象の商品の出荷可否を判定してもよい。例えば、判定部１４は、外観画像の判定対象の領域に対する画像処理により、破損個所の面積、長さ、角度等の数値情報を検出し、それらの数値情報に基づいて、破損の程度を推定する。そして、判定部１４は、例えば、上記の類似データの判定結果に基づく判定結果が出荷可能で、破損の程度が小の場合に、最終的な判定結果として、出荷可能と判定することができる。なお、最終的な判定のための、類似データの判定結果と、数値情報に基づく判定との組み合わせ方は適宜設定可能である。また、この組み合わせ方も、外部情報に応じて異ならせてもよい。

【0039】

判定部１４は、判定対象の商品の出荷可否を判定すると、例えば図８に示すような判定結果画面４４を拠点端末３０に表示する。図８の例では、判定結果画面４４には、判定対象の商品の外観画像４２２と、判定対象の領域を示す枠４２４と、類似データの情報が表示される類似データ表示領域４４２と、判定結果表示領域４４４と、異議ボタン４４６とが含まれる。類似データ表示領域４４２には、判定対象の商品の外観画像及び外部情報と類似する所定個の教師データの外観画像のサムネイル画像と、その教師データに対応付けられている判定結果とが表示される。また、各教師データに対応付けて詳細ボタンが設けられており、詳細ボタンが選択されると、教師データに含まれる外部情報、及び教師データに対応付けられている中身画像が表示される（図示省略）。この外部情報及び中身画像を表示することで、判定結果に対する理由付けを提示し、判定結果に対する納得性を高めることができる。

【0040】

異議ボタン４４６は、判定結果に異議がある場合に、拠点の作業担当者により選択される。異議ボタン４４６が選択された場合には、拠点端末３０から情報処理装置１０へ、判定結果に異議があることを示す異議情報が送信される。

【0041】

判定部１４は、判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果を作成部１６へ受け渡す。

【0042】

作成部１６は、拠点端末３０から異議情報が送信された場合、異議情報を取得する。そして、作成部１６は、判定部１４から受け渡された判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果と、取得した異議情報とを、例えば図９に示すような判定履歴ＤＢ２６に判定履歴として記憶する。

【0043】

また、作成部１６は、判定部１４から受け渡された判定結果が出荷不可の場合、その判定結果と共に受け渡された基本情報に含まれる商品の識別情報（例えば、商品コード、製造工場、及び製造ロット）に基づいて、流通過程をトレースしたトレース情報を作成する。具体的には、作成部１６は、判定履歴ＤＢ２６から、商品の識別情報をキーに該当の判定履歴を検索し、各拠点における判定履歴の各々を記録したトレース情報を作成する。例えば、本実施形態では、小売業者、すなわち拠点端末３０Ｃから送信された外観画像及び基本情報が示す商品についての出荷可否の判定が出荷不可であったとする。この場合、作成部１６は、小売業者における判定履歴、小売業者の前段階の卸売業者における判定履歴、及びその卸売業者の前段階の出荷元における判定履歴を含むトレース情報を作成し、出力する。このトレース情報により、同様の流通過程を辿る他の商品の検品の強化や、破損品の回収等の対応を迅速に行うことができる。

【0044】

また、作成部１６は、所定のタイミングで、判定履歴ＤＢ２６に記憶された判定履歴のうち、異議情報がある判定履歴を集計し、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する。作成部１６は、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む異議発生状況レポートを作成し、出力する。この異議発生レポートにより、異議の多い拠点の作業担当者に対する聞き取りを行ったり、作業担当者へ判定の適正化を促したり等の対応をとることができる。

【0045】

また、作成部１６は、特定した、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する教師データに対応付けられた判定結果を更新する。例えば、作成部１６は、特定した商品について、出荷可能の判定結果に対する異議の発生頻度が所定値以上の場合、教師データのうち、その商品についての少なくとも一部の教師データに対応付けられた判定結果を出荷不可に変更する。また、例えば、作成部１６は、特定した拠点について、出荷不可の判定結果に対する異議の発生頻度が所定値以上の場合、教師データのうち、外部情報に該当の拠点を含む教師データの少なくとも一部に対応付けられた判定結果を出荷可能に変更する。

【0046】

また、作成部１６は、所定のタイミングで、判定履歴ＤＢ２６に記憶された判定履歴を判定結果に基づいて集計し、出荷可能又は出荷不可の頻度が所定値以上の商品及び拠点の少なくとも一方を特定する。作成部１６は、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む判定結果レポートを作成し、出力する。この判定結果レポートにより、出荷不可と判定される頻度が所定値以上の商品について、段ボール箱の強化、流通過程の見直し等の対応を行うことができる。また、商品ロス及び作業負荷の観点から、該当の商品についての教師データに対応付けられた判定結果を一括で出荷可能に更新する等の対応を検討することができる。また、出荷可能と判定される頻度が所定値以上の商品については、段ボール箱の軽量薄肉化等の検討により、環境負荷への配慮を図ることができる。

【0047】

また、この判定結果レポートにより、出荷不可と判定される頻度が所定値以上の拠点について、その拠点の倉庫での商品の保管環境の見直しや、その拠点までの輸送経路の見直し等の対応を行うことができる。なお、作成部１６は、拠点の倉庫への入庫時における段ボール箱の外観画像と、出庫時の外観画像とを取得しておき、両者を比較することで、拠点の倉庫で破損が生じたのか、拠点までの輸送経路で破損が生じたのかを判定するようにしてもよい。この場合、入出庫時の外観画像も判定履歴として判定履歴ＤＢ２６に記憶しておけばよい。

【0048】

情報処理装置１０は、例えば図１０に示すコンピュータ５０で実現することができる。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力部、表示部等の入出力装置５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。

【0049】

記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、情報処理装置１０として機能させるための情報処理プログラム６０が記憶される。情報処理プログラム６０は、取得プロセス６２と、判定プロセス６４と、作成プロセス６６とを有する。また、記憶部５３は、外部情報ＤＢ２２、判定用ＤＢ２４、及び判定履歴ＤＢ２６の各々を構成する情報が記憶される情報記憶領域７０を有する。

【0050】

ＣＰＵ５１は、情報処理プログラム６０を記憶部５３から読み出してメモリ５２に展開し、情報処理プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６２を実行することで、図３に示す取得部１２として動作する。また、ＣＰＵ５１は、判定プロセス６４を実行することで、図３に示す判定部１４として動作する。また、ＣＰＵ５１は、作成プロセス６６を実行することで、図３に示す作成部１６として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、外部情報ＤＢ２２、判定用ＤＢ２４、及び判定履歴ＤＢ２６の各々をメモリ５２に展開する。これにより、情報処理プログラム６０を実行したコンピュータ５０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。

【0051】

なお、情報処理プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0052】

次に、第１実施形態に係る情報処理システム１００の作用について説明する。拠点端末３０において、情報処理システム１００により提供されるアプリケーションが起動され、出荷可否の判定が指示されると、情報処理装置１０において、図１１に示す判定処理が実行される。また、情報処理装置１０は、所定のタイミングで、図１２に示す異議集計処理、及び図１３に示す判定集計処理を実行する。なお、判定処理、異議集計処理、及び判定集計処理は、開示の技術の情報処理方法の一例である。以下、判定処理、異議集計処理、及び判定集計処理の各々について詳述する。

【0053】

まず、図１１に示す判定処理について説明する。

【0054】

ステップＳ１１で、取得部１２が、例えば図４に示すような撮影画面４０を、出荷可否の判定を指示した拠点端末３０に表示する。そして、取得部１２が、拠点の作業担当者により撮影画面４０を介して撮影及び入力された段ボール箱の外観画像及び商品の基本情報を取得する。

【0055】

次に、ステップＳ１２で、取得部１２が、取得した基本情報に基づいて、外部情報ＤＢ２２等から、取得した外観画像に対応する外部情報を取得する。取得部１２は、取得した外観画像、基本情報、及び外部情報を判定部１４へ受け渡す。

【0056】

次に、ステップＳ１３で、判定部１４が、領域抽出モデル２４２を用いて、判定対象の商品の外観画像から、段ボール箱の破損の有無を判定する領域を抽出する。そして、判定部１４は、例えば図７に示すような領域確認画面４２を拠点端末３０に表示し、領域の修正を受け付け、領域を確定する。

【0057】

次に、ステップＳ１４で、判定部１４が、判定対象の領域が確定された外観画像及び外部情報と、教師データテーブル２４６に記憶された教師データの各々との類似度を、類似データ抽出モデル２４４を用いて算出する。そして、判定部１４が、判定対象の商品についての外観画像及び外部情報との類似度が高い順に所定個の教師データを抽出する。

【0058】

次に、ステップＳ１５で、判定部１４が、判定対象の商品の外部情報に応じて、判定基準を設定する。そして、判定部１４が、抽出した所定個の教師データに対応する判定結果の各々を教師データテーブル２４６から取得し、教師データに対応する判定結果の各々を集計したスコアが所定の判定基準以上か否かに基づいて、判定対象の商品の出荷可否を判定する。

【0059】

次に、ステップＳ１６で、判定部１４が、例えば図８に示すような判定結果画面４４を拠点端末３０に表示する。また、判定部１４が、判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果を作成部１６へ受け渡す。そして、作成部１６が、判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果を、例えば図９に示すような判定履歴ＤＢ２６に判定履歴として記憶する。

【0060】

次に、ステップＳ１７で、作成部１６が、判定対象の商品についての出荷可否の判定結果が出荷不可か否かを判定する。出荷不可の場合には処理はステップＳ１８へ移行し、出荷可能の場合には、処理はステップＳ１９へ移行する。

【0061】

ステップＳ１８では、作成部１６が、判定結果と共に受け渡された基本情報に含まれる商品の識別情報（例えば、商品コード、製造工場、及び製造ロット）に基づいて、流通過程をトレースしたトレース情報を作成し、出力する。

【0062】

次に、ステップＳ１９で、作成部１６が、判定結果画面４４において異議ボタン４４６が選択されることにより拠点端末３０から送信される異議情報を受け付けたか否かを判定する。異議情報を受け付けた場合には、処理はステップＳ２０へ移行し、受け付けていない場合には、判定処理は終了する。

【0063】

ステップＳ２０では、作成部１６が、上記ステップＳ１６で判定履歴ＤＢ２６に記憶した判定履歴に、異議情報があることを示す情報を追加して記憶し、判定処理は終了する。

【0064】

次に、図１２に示す異議集計処理について説明する。

【0065】

ステップＳ２１で、作成部１６が、判定履歴ＤＢ２６に記憶された判定履歴のうち、異議情報がある判定履歴を集計し、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する。

【0066】

次に、ステップＳ２２で、作成部１６が、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む異議発生状況レポートを作成し、出力する。

【0067】

次に、ステップＳ２３で、作成部１６が、特定した、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する教師データに対応付けられた判定結果を、元の判定結果とは逆の判定結果に更新し、異議集計処理は終了する。

【0068】

次に、図１３に示す判定集計処理について説明する。

【0069】

ステップＳ３１で、作成部１６が、判定履歴ＤＢ２６に記憶された判定履歴を判定結果に基づいて集計し、出荷可能又は出荷不可の頻度が所定値以上の商品及び拠点の少なくとも一方を特定する。

【0070】

次に、ステップＳ３２で、作成部１６が、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む判定結果レポートを作成し、出力し、判定集計処理は終了する。

【0071】

以上説明したように、第１実施形態に係る情報処理システムによれば、情報処理装置が、出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、判定対象の商品情報及び流通情報の少なくとも一方を含む外部情報とを取得する。また、情報処理装置には、出荷可否を判定済みの商品についての外観画像及び外部情報からなる教師データと、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルが記憶されている。そして、情報処理装置は、モデルと、取得された判定対象の商品についての外観画像及び外部情報とに基づいて、判定対象の商品の出荷可否を判定する。これにより、段ボール箱で梱包された商品の出荷可否を、各種条件を考慮した共通認識の判定基準で判定することができる。

【0072】

なお、上記第１実施形態では、各拠点で取得される外部情報を用いて出荷可否を判定する場合について説明したが、これに限定されない。例えば、自拠点について取得される外部情報と、流通過程における自拠点よりも前段階の拠点の各々で取得された外部情報も用いて出荷可否を判定してもよい。この場合、各拠点における出荷可否を判定する際に、取得した基本情報に含まれる商品の識別情報をキーに判定履歴ＤＢ２６を検索し、前段階の各々における判定履歴に含まれる外部情報を取得し、自拠点の外部情報と合わせればよい。また、モデルの機械学習時も同様に、各教師データに、前段階の拠点の外部情報も持たせるようにすればよい。これにより、流通過程の状況をより反映した判定結果を得ることができる。

【0073】

また、上記第１実施形態では、出荷可否の判定時において、段ボール箱に破損が生じているか否かを判定する場合を想定しているが、これに限定されない。例えば、時系列に取得された教師データと判定結果との対応付けを機械学習したモデルを用いて予測される、所定時間後の、判定対象の商品を梱包した段ボール箱の破損状態に基づいて、判定対象の商品の出荷可否を判定してもよい。この場合、出荷時には破損が生じていなくても、例えば、輸送時、出荷先の倉庫での保管時、消費者による持ち帰り時等に破損が生じるおそれがあり、安全性に問題があるとして、出荷不可と判定することができる。

【0074】

また、上記第１実施形態において、判定対象の商品を出荷不可と判定し、かつ判定対象の商品についての外観画像及び外部情報に基づいて得られる判定値が、安全性に関する特定の基準値を上回る場合、安全性に関するアラートを発信するようにしてもよい。判定値としては、例えば、判定対象の商品についての外観画像及び外部情報と、判定結果が出荷不可の教師データとの類似度等とすることができる。また、上記のように、所定時間後の破損状態を予測する場合、予測される破損状態に応じた判定値を算出するようにしてもよい。アラートは、判定結果と共に該当の拠点端末へ送信され、例えば、図１４の破線部に示すように、警告文等で表示することができる。

【0075】

また、上記第１実施形態では、段ボール箱の判定対象箇所を撮影した外観画像を用いる場合について説明したが、撮影範囲は、これに限定されない。例えば、図１５に示すように、トラックに積載された段ボール箱を一括で撮影した外観画像を用いて、例えばパレット単位で出荷可否の判定を行うようにしてもよい。これにより、出荷可否判定のための撮影や基本情報の入力等の作業負荷を軽減することができる。

【0076】

また、上記のような場合において、判定対象の商品の外観画像から認識される段ボール箱の背面に存在する段ボール箱で梱包された商品の出荷可否を判定するようにしてもよい。この場合、教師データと、背面に存在する段ボール箱の破損状態に基づく判定結果とを対応付けて機械学習したモデルを用いて、背面に存在する段ボール箱で梱包された商品の出荷可否を判定すればよい。

【0077】

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。

【0078】

図２に示すように、第２実施形態に係る情報処理システム２００は、情報処理装置２１０と、拠点端末３０Ａ、３０Ｂ、３０Ｃとを含む。

【0079】

情報処理装置２１０は、機能的には、図１６に示すように、第１実施形態に係る情報処理装置１０の機能構成に加え、テスト処理部２１８を含む。第２実施形態に係る情報処理装置２１０では、運用モードとテストモードとが選択可能である。運用モードが選択された場合には、第１実施形態に係る情報処理装置１０と同様に、取得部１２、判定部１４、及び作成部１６が機能して、判定対象の商品についての出荷可否が判定される。テストモードが選択された場合には、テスト処理部２１８が機能して、テスト対象者に対するテストが実施される。

【0080】

テスト処理部２１８は、段ボール箱の外観画像について、テスト用の外観画像を提示し、テスト対象者から、テスト用の外観画像に対する出荷可否の判定を受け付け、テスト対象者による判定の正否を提示する。

【0081】

具体的には、テスト処理部２１８は、判定用ＤＢ２４の教師データテーブル２４６に記憶された教師データから１つの教師データを選択する。選択の方法は、ランダムでもよいし、予め教師データに破損の種類を示す情報を対応付けておき、指定した破損の種類の教師データを選択するようにしてもよい。テスト処理部２１８は、テスト対象者が利用する拠点端末３０に、例えば図１７に示すような問題画面４６を表示する。図１７の例では、問題画面４６には、選択された教師データに含まれる外観画像４６２、外観画像４６６に設定されている判定領域を示す枠４６４、及び選択された教師データに含まれる外部情報が表示される。また、問題画面４６には、テスト対象者が解答を選択するための解答ボタン４６８が含まれる。テスト対象者が、出荷可能又は出荷不可に対応する解答ボタン４６８を選択することにより、拠点端末３０から情報処理装置２１０へ、テスト対象者による解答が送信される。

【0082】

テスト処理部２１８は、拠点端末３０から解答を取得すると、教師データテーブル２４６から、選択した教師データに対応付けて記憶されている判定結果を取得する。そして、テスト処理部２１８は、例えば図１８に示すような解答画面４８を拠点端末３０に表示する。図１８の例では、解答画面４８には、問題画面４６で表示された外観画像４６２及び枠４６４と、答え合わせの情報４８２とが表示される。答え合わせの情報４８２は、テスト対象者により選択された解答が含まれると共に、教師データに対応する判定結果が正解として含まれる。

【0083】

また、解答画面４８には、次の問題を表示するための次ボタン４８４と、テスト結果を表示するための結果表示ボタン４８６とが含まれる。テスト処理部２１８は、予め設定された数の問題のうち、未実施の問題が存在する場合には、次ボタン４８４をアクティブに、結果表示ボタン４８６を非アクティブに表示する。また、テスト処理部２１８は、予め設定された数の問題の実施が全て終了した場合には、次ボタン４８４を非アクティブに、結果表示ボタン４８６をアクティブに表示する。

【0084】

テスト対象者により、次ボタン４８４が選択されると、テスト処理部２１８は、次の問題のための教師データを選択し、再度、問題画面４６を表示する。テスト対象者により、結果表示ボタン４８６が選択されると、テスト処理部２１８は、テスト結果を拠点端末３０に表示する。テスト結果には、各問題に対するテスト対象者の解答及び正解、正解率、正解率に基づく合否判定結果等を含めることができる。また、テスト結果には、再度テストを受けるように促すメッセージや、上司への報告を促すメッセージ等を含めてもよい。

【0085】

情報処理装置２１０は、例えば図１０に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３には、コンピュータ５０を、情報処理装置２１０として機能させるための情報処理プログラム２６０が記憶される。情報処理プログラム２６０は、取得プロセス６２と、判定プロセス６４と、作成プロセス６６と、テスト処理プロセス２６８とを有する。また、記憶部５３は、外部情報ＤＢ２２、判定用ＤＢ２４、及び判定履歴ＤＢ２６の各々を構成する情報が記憶される情報記憶領域７０を有する。

【0086】

ＣＰＵ５１は、情報処理プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、情報処理プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、テスト処理プロセス２６８を実行することで、図１６に示すテスト処理部２１８として動作する。他のプロセスについては、第１実施形態に係る情報処理プログラム６０と同様である。これにより、情報処理プログラム２６０を実行したコンピュータ５０が、情報処理装置２１０として機能することになる。

【0087】

なお、情報処理プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

【0088】

次に、第２実施形態に係る情報処理システム１００の作用について説明する。拠点端末３０において、情報処理システム１００により提供されるアプリケーションが起動され、テストモードが選択されると、情報処理装置２１０において、図１９に示すテストモード処理が実行される。

【0089】

ステップＳ２１１で、テスト処理部２１８が、判定用ＤＢ２４の教師データテーブル２４６に記憶された教師データから１つの教師データを選択する。そして、テスト処理部２１８が、テスト対象者が利用する拠点端末３０に、例えば図１７に示すような問題画面４６を表示する。

【0090】

次に、ステップＳ２１２で、問題画面４６において、テスト対象者が出荷可能又は出荷不可に対応する解答ボタン４６８を選択することにより、拠点端末３０から情報処理装置２１０へ送信されたテスト対象者による解答を、テスト処理部２１８が取得する。

【0091】

次に、ステップＳ２１３で、テスト処理部２１８が、教師データテーブル２４６から、選択した教師データに対応付けて記憶されている判定結果を取得する。そして、テスト処理部２１８が、例えば図１８に示すような解答画面４８を拠点端末３０に表示する。

【0092】

次に、ステップＳ２１４で、テスト処理部２１８が、予め設定された数の問題の実施が全問終了したか否かを判定する。全問終了した場合には、テスト処理部２１８が、解答画面４８において、次ボタン４８４を非アクティブに、結果表示ボタン４８６をアクティブに表示し、結果表示ボタン４８６が選択されると、処理はステップＳ２１５へ移行する。一方、未実施の問題が存在する場合には、テスト処理部２１８が、解答画面４８において、次ボタン４８４をアクティブに、結果表示ボタン４８６を非アクティブに表示し、次ボタン４８４が選択されると、処理はステップＳ２１１へ戻る。

【0093】

ステップＳ２１５では、テスト処理部２１８が、各問題に対するテスト対象者の解答及び正解、正解率、正解率に基づく合否判定結果、各種メッセージ等を含むテスト結果を拠点端末３０に表示し、テストモード処理は終了する。

【0094】

以上説明したように、第２実施形態に係る情報処理システムによれば、情報処理装置が、段ボール箱の外観画像について、テスト用の外観画像を提示し、テスト対象者から、テスト用の外観画像に対する出荷可否の判定を受け付ける。そして、情報処理装置は、テスト対象者による判定の正否を提示する。これにより、作業対象者に対して、判定基準の共通認識を持たせることができる。

【0095】

テストモードは、例えば、作業担当者による出荷可否の判定が困難な場合に、情報処理システムによる判定を利用するような運用の場合において、アプリケーションによらずに作業担当者が判定する場合の判定基準の共通認識に対する教育ツールとして有用である。特に、作業担当者の経験が少ない場合、文化的背景や使用言語の違いが存在したとしても、共通の判定基準を認識させることができる。

【0096】

また、テストモードを消費者向けにインターネット等で公開し、統一した判定基準を示すことで、安全性の担保した適切な判定基準を啓蒙することができる。これにより、商品の不要な廃棄の削減を図ることができる。

【0097】

なお、上記第２実施形態では、教師データを問題に利用する場合について説明したが、これに限定されない。例えば、テスト問題用の段ボール箱の外観画像及び外部情報を外部から取得して問題として提示してもよい。この場合、第１実施形態と同様に、モデルを用いて、取得した外観画像及び外部情報に対する出荷可否の判定を行い、その判定結果を問題に対する正解とすればよい。

【0098】

また、上記各実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【0099】

以上の各実施形態に関し、さらに以下の付記を開示する。

【0100】

（付記１）
出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータに実行させるための情報処理プログラム。

【0101】

（付記２）
前記商品に関する情報は、前記商品の販売形態の情報を含み、
前記流通に関する情報は、流通過程を特定する情報、倉庫における保管条件の情報、輸送条件に関する情報、及び流通時の環境情報の少なくとも１つを含む
付記１に記載の情報処理プログラム。

【0102】

（付記３）
流通過程に複数の拠点が含まれる場合、前記流通過程の所定の拠点、及び前記所定の拠点の前段階の拠点の各々における前記外観画像及び前記外部情報に基づいて、前記所定の拠点における前記判定対象の商品の出荷可否を判定する付記１又は付記２に記載の情報処理プログラム。

【0103】

（付記４）
前記判定対象の商品の前記外観画像との類似度が高い順に上位所定個の前記出荷可否を判定済みの商品の前記外観画像を提示すると共に、提示した前記外観画像に対応する前記判定結果の各々を集計したスコアが所定の基準以上か否かに基づいて、前記判定対象の商品の出荷可否を判定する付記１～付記３のいずれか１項に記載の情報処理プログラム。

【0104】

（付記５）
前記判定対象の商品の前記外部情報に応じて、前記所定の基準を設定する付記４に記載の情報処理プログラム。

【0105】

（付記６）
前記判定対象の商品が梱包された段ボール箱のまま販売される場合より、前記商品がバラ売りされる場合の方が、前記所定の基準を緩和するように設定する付記５に記載の情報処理プログラム。

【0106】

（付記７）
前記出荷可否を判定済みの商品の前記外観画像に、前記出荷可否を判定済みの商品の中身の状態を示す情報を対応付けて記憶しておき、前記上位所定個の前記出荷可否を判定済みの商品の前記外観画像を提示する際に、対応する前記中身の状態を示す情報を提示する付記４～付記６のいずれか１項に記載の情報処理プログラム。

【0107】

（付記８）
前記モデルは、前記出荷可否を判定済みの商品を梱包した段ボール箱の破損状態の種類毎に機械学習された複数のモデルを含むか、又は、複数種類の前記破損状態を示す前記外観画像を用いて機械学習された１つのモデルである付記１～付記７のいずれか１項記載の情報処理プログラム。

【0108】

（付記９）
前記判定対象の商品の出荷可否についての判定結果に対する異議を受け付け、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する付記１～付記８のいずれか１項に記載の情報処理プログラム。

【0109】

（付記１０）
特定した前記異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する、前記出荷可否を判定済みの商品についての前記外観画像及び前記外部情報に対応付けられた判定結果を更新する付記９に記載の情報処理プログラム。

【0110】

（付記１１）
時系列に取得された前記出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、前記出荷可否の判定結果との対応付けを機械学習したモデルを用いて予測される、所定時間後の前記判定対象の商品を梱包した段ボール箱の破損状態に基づいて、前記判定対象の商品の出荷可否を判定する付記１～付記１０のいずれか１項に記載の情報処理プログラム。

【0111】

（付記１２）
流通過程の各拠点において判定された前記判定対象の商品の出荷可否の判定結果を前記判定対象の商品についての前記外部情報と対応付けて記憶し、出荷可能又は出荷不可と判定される頻度が所定値以上の商品及び前記拠点の少なくとも一方を特定する付記１～付記１１のいずれか１項に記載の情報処理プログラム。

【0112】

（付記１３）
前記判定対象の商品を出荷不可と判定し、かつ前記判定対象の商品についての前記外観画像及び前記外部情報に基づいて得られる判定値が、安全性に関する特定の基準値を上回る場合、安全性に関するアラートを発信する付記１～付記１２のいずれか１項に記載の情報処理プログラム。

【0113】

（付記１４）
段ボール箱の外観画像について、テスト用の外観画像を提示し、
テスト対象者から、前記テスト用の外観画像に対する出荷可否の判定を受け付け、
前記テスト対象者による判定の正否を提示する
付記１～付記１３のいずれか１項に記載の情報処理プログラム。

【0114】

（付記１５）
前記判定対象の商品についての前記外観画像の取得時に、前記判定対象の商品の識別情報を取得し、
出荷できないとの判定がなされた商品の流通過程を、流通過程の各拠点において取得された前記識別情報に基づいてトレースする
付記１～付記１４のいずれか１項に記載の情報処理プログラム。

【0115】

（付記１６）
前記判定対象の商品についての前記外観画像から検出される破損個所の数値情報をさらに用いて、前記判定対象の商品の出荷可否を判定する付記１～付記１５のいずれか１項に記載の情報処理プログラム。

【0116】

（付記１７）
前記出荷可否を判定済みの商品についての前記外観画像から認識される段ボール箱の背面に存在する段ボール箱の破損状態をさらに前記判定結果と対応付けて機械学習したモデルを用いて、前記判定対象の商品の前記外観画像から認識される段ボール箱の背面に存在する段ボール箱で梱包された商品の出荷可否を判定する付記１～付記１６のいずれか１項に記載の情報処理プログラム。

【0117】

（付記１８）
前記判定対象の商品についての前記外観画像を、流通過程の各拠点への入庫時及び出庫時の各々について取得し、前記判定対象の商品を出荷できないと判定された拠点について、前記入庫時の前記外観画像と、前記出庫時の前記外観画像とを比較して、前記拠点で前記段ボール箱に破損が生じたか否かを判定する付記１～付記１７のいずれか１項に記載の情報処理プログラム。

【0118】

（付記１９）
出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得する取得部と、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する判定部と、
を含む情報処理装置。

【0119】

（付記２０）
出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータが実行する情報処理方法。

【符号の説明】

【0120】

１００、２００ 情報処理システム
１０、２１０ 情報処理装置
１２ 取得部
１４ 判定部
１６ 作成部
２１８ テスト処理部
２２ 外部情報ＤＢ
２２２ 商品情報テーブル
２２４ 拠点情報テーブル
２２６ 輸送情報テーブル
２４ 判定用ＤＢ
２４２ 領域抽出モデル
２４４ 類似データ抽出モデル
２４６ 教師データテーブル
２６ 判定履歴ＤＢ
３０ 拠点端末
４０ 撮影画面
４２ 領域確認画面
４４ 判定結果画面
４６ 問題画面
４８ 解答画面
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記憶媒体
６０、２６０ 情報処理プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】