(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下に、本願に係る情報処理装置、情報処理方法、及びプログラムについて、図を参照しつつ詳細に説明する。なお、この実施形態により、本願に係る情報処理装置、情報処理方法、及びプログラムが限定されるものではない。
【0012】
[1.情報処理]
まず、
図1を用いて本実施形態の情報処理の一例について説明する。
図1は、本実施形態の情報処理装置1によって行われる情報処理の一例を示す図である。
【0013】
情報処理装置1は、ネットワークNを介して、電子商取引の対象となる出品物の取引サービスを提供するサービス提供装置2、具体的には、ショッピングサーバ2A、オークションサーバ2Bなどから出品物に関するデータ(以下、出品物データという。)を多数取得する。出品物データには、出品物の画像データと出品物の情報データとが含まれる。
【0014】
ショッピングサーバ2Aには、出品者によって出品物データが登録され、ショッピングサーバ2Aは、登録された出品物データを記憶している。例えば、ショッピングサーバ2Aには、出品物の画像が、出品物の画像データとして記憶され、出品物の商品名などが、出品物の情報データとして記憶されている。「商品名」は、出品物の名称を示す情報である。
【0015】
オークションサーバ2Bには、出品者によって出品物データが登録され、オークションサーバ2Bは、登録された出品物データを記憶している。例えば、オークションサーバ2Bには、出品物の画像が、出品物の画像データとして記憶され、出品物の落札情報、例えば、落札価格などが、出品物の情報データとして記憶されている。「落札価格」とは、オークションによって落札された際の価格である。
【0016】
情報処理装置1は、ショッピングサーバ2Aなどに自発的にアクセスして、出品物データを取得する、いわゆるプル型であってもよく、ショッピングサーバ2Aから出品物データが自動的に送信される、いわゆるプッシュ型であってもよい。
【0017】
情報処理装置1は、取得した出品物データから、出品物の画像データと出品物の情報データとを抽出する。
【0018】
情報処理装置1の制御部20は、出品物の画像データと、出品物の情報データとに基づいて、物品検索用の辞書データを作成する。物品検索用の辞書データは、例えば、出品物の画像データを用いた機械学習によって作成される画像辞書データと、出品物の情報データから作成される出品物参照用データとを含む。出品物参照用データには、例えば、「商品名」や、「落札価格」などのデータが含まれる。
【0019】
辞書データでは、出品物に対する特定のキー(以下、辞書キーという。)によって、画像辞書データと出品物参照用データとが関連付けられている。例えば、辞書キー「d0001」によって、画像辞書データ「D0001」と出品物参照用データ「I0001」とが関連付けられ、辞書キー「d0004」によって、画像辞書データ「D0004」と出品物参照用データ「I0002」とが関連付けられている。
【0020】
情報処理装置1の記憶部30は、作成された辞書データを記憶する。
【0021】
情報処理装置1は、ユーザが撮影した物品の画像に関する画像データ(以下、送信画像データともいう。)が送信された場合には、送信画像データの特徴が類似する画像辞書データを辞書データの中から検索する。そして、情報処理装置1は、検索した画像辞書データに関連付けられた出品物参照用データを読み出し、読み出した出品物参照用データをユーザへ送信する。
【0022】
このように、多くの出品物データを有するサービス提供装置2から、多くの出品物データを取得し、取得した出品物データから辞書データを作成することで、精度の良い辞書データを効率的に作成することができる。
【0023】
[2.情報提供システム5]
図2を用いて、情報提供システム5について説明する。
図2は、情報提供システム5の構成例を示す図である。
【0024】
情報提供システム5は、サービス提供装置2と、情報処理装置1と、情報端末4とを備える。情報提供システム5では、サービス提供装置2と、情報処理装置1と、情報端末4とが、ネットワークNを介して相互に通信可能に接続される。ネットワークNは、例えば、インターネットのWAN(Wide Area Network)である。
【0025】
サービス提供装置2は、例えば、ショッピングサーバ2A、オークションサーバ2Bである。なお、サービス提供装置2は、ショッピングサーバ2A、オークションサーバ2Bに限られず、インターネットによるフリーマーケットサイトを提供するサーバや、中古買取業者のサーバなどであってもよい。
【0026】
図2では、1つのショッピングサーバ2A、及び1つのオークションサーバ2Bを示しているが、複数のショッピングサーバ2Aや、複数のオークションサーバ2Bなどに、情報処理装置1が接続可能であってもよい。
【0027】
ショッピングサーバ2Aは、複数の出品物を販売するEC(Electronic Commerce)サイトを提供する装置である。ユーザが情報端末4によってECサイトにアクセスした場合には、情報端末4の画面40に、例えば、
図3に示すような表示がされる。
図3は、ECサイトにアクセスした場合の表示例を示す図である。
【0028】
ECサイトにアクセスした場合には、出品物の画像(
図3では、出品物の画像を破線で囲む。)として、例えば、正面から撮影した画像、背面から撮影した画像が、画面40に表示される。これらの画像に関する画像データは、ショッピングサーバ2Aのデータベース(以下、DBとする。)2aに記憶されている。
【0029】
また、ECサイトにアクセスした場合には、出品物の情報(
図3では、出品物の情報を一点鎖線で囲む。)として、例えば、「メーカー」、「商品名」、「価格」、「型番」、「カラー」、「レビュー」に関する情報が、画面40に表示される。これらの情報に関する出品物の情報データは、ショッピングサーバ2AのDB2aに記憶されている。
【0030】
「メーカー」は、出品物を製造した会社の情報である。「価格」は、出品物の販売価格である。「型番」は、メーカーによって出品物(商品)に付与される識別番号であり、ローマ字や数字などによって表される。「カラー」は、出品物の主な色である。「レビュー」は、出品物(商品)に対する購入者の評価である。
【0031】
ショッピングサーバ2AのDB2aでは、出品物に対し特有のキー(以下、出品物キーという。)が付与され、
図4に示すように、出品物キーと出品物の画像データと出品物の情報データとが関連付けられて記憶されている。
図4は、ショッピングサーバ2AのDB2aにおける、出品物キーと出品物の画像データと出品物の情報データとの関係を示すテーブルである。
【0032】
例えば、出品物キー「K0001」に、「商品名」が「Aカメラ」である出品物の情報データと、2つの出品物の画像データ「P0001」、及び「P0002」(2枚の画像)とが関連付けられて、これらの情報がショッピングサーバ2AのDB2aに記憶されている。また、出品物キー「K0002」に、「商品名」が「Bテレビ」である出品物の情報データと、3つの出品物の画像データ「P0003」〜「P0005」(3枚の画像)とが関連付けられて、これらの情報がショッピングサーバ2AのDB2aに記憶されている。また、出品物キー「K0003」に、「商品名」が「Cカバン」である出品物の情報データと、1つの出品物の画像データ「P0006」(1枚の画像)とが関連付けられて、これらの情報がショッピングサーバ2AのDB2aに記憶されている。
【0033】
オークションサーバ2Bは、インターネットによるオークションサイトを提供する装置である。オークションサイトにアクセスした場合には、情報端末4の画面40に、例えば、
図5に示すような表示がされる。
図5は、オークションサイトにアクセスした場合の表示例を示す図である。
【0034】
オークションサイトにアクセスした場合には、出品物の画像(
図5では、出品物の画像を破線で囲む。)として、例えば、斜めから撮影した画像、正面から撮影した画像、背面から撮影した画像が、画面40に表示される。これらの画像に関する出品物の画像データは、オークションサーバ2BのDB2bに記憶されている。
【0035】
また、オークションサイトにアクセスした場合には、出品物の情報(
図5では、出品物の情報を一点鎖線で囲む。)として、例えば、「商品名」、「現在価格」、「入札件数」、「型番」、「カラー」、「サイズ」に関する情報が表示される。これらの情報に関する出品物の情報データは、オークションサーバ2BのDB2bに記憶されている。
【0036】
「現在価格」は、現在のオークション価格である。「入札件数」は、オークションに出品されている出品物に対する実際の入札数である。「サイズ」は、出品物の大きさに関する情報であり、例えば、横、高さ、奥行きの長さである。
【0037】
オークションサーバ2BのDB2bでは、ショッピングサーバ2AのDB2aと同様に、出品物に対し、出品物キーが付与され、
図6に示すように、出品物キーと出品物の画像データと出品物の情報データとが関連付けられて記憶されている。
図6は、オークションサーバ2BのDB2bにおける、出品物キーと出品物の画像データと出品物の情報データとの関係を示すテーブルである。
【0038】
例えば、出品物キー「E0001」に、「商品名」が「Aカメラ」である出品物の情報データと、3つの出品物の画像データ「C0003」〜「C0005」(3枚の画像)とが関連付けられて、これらの情報がオークションサーバ2BのDB2bに記憶されている。また、出品物キー「E0002」に、「商品名」が「Dビデオ」である出品物の情報データと、1つの出品物の画像データ「C0006」(1枚の画像)とが関連付けられて、これらの情報がオークションサーバ2BのDB2bに記憶されている。
【0039】
なお、出品物の情報データには、上記した以外にも、「価格推移」、「落札価格」、「落札日時」、「口コミ」、「出品物の状態」、「落札価格の分布」などが含まれる。
【0040】
「価格推移」とは、出品物の価格の変動をグラフ化した図である。「落札価格」とは、オークションに落札された価格である。「落札日時」とは、出品物が落札された日、及び時間である。「口コミ」とは、出品物に対する落札者の評価である。「出品物の状態」とは、例えば、新品であるのか、キズがあるのかなどの情報である。「落札価格の分布」とは、出品物に対する落札価格の幅を示す情報である。
【0041】
このように、ショッピングサーバ2AのDB2a、及びオークションサーバ2BのDB2bには、出品物毎に、出品物の画像データと出品物の情報データとが関連付けられて記憶され、多くの出品物データが蓄積されている。
【0042】
サービス提供装置2は、情報処理装置1からの要求に応じて(プル型)、または情報処理装置1からの要求の有無に関わらず(プッシュ型)、ネットワークNを介して出品物データを情報処理装置1に送信する。
【0043】
情報端末4は、スマートフォンやタブレット型PCなどのスマートデバイス、デスクトップ型のPCなどであり、通信機能を有する。情報端末4は、例えば、有線WAN回線や無線WAN基地局(図示せず)を介してネットワークNに接続された、ショッピングサーバ2A、オークションサーバ2B、及び情報処理装置1と通信することができる。
【0044】
[3.情報処理装置1]
[3.1.情報処理装置1の構成]
図7を用いて、情報処理装置1について詳しく説明する。
図7は、本実施形態に係る情報処理装置1の構成例を示す図である。本実施形態の情報処理装置1は、通信部10と、制御部20(コントローラ)と、記憶部30とを備える。
【0045】
[3.1.1.通信部10]
通信部10は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部10は、ネットワークNを介して、ショッピングサーバ2A、オークションサーバ2B、情報端末4などとの間でデータの送受信を行う。
【0046】
[3.1.2.制御部20]
図7に示すように、制御部20は、取得部21と、抽出部22と、分析部23と、作成部24と、検索部25とを備える。
【0047】
制御部20は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置1内部の記憶部30に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部20は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0048】
[3.1.3.取得部21]
取得部21は、ショッピングサーバ2A、及びオークションサーバ2Bから、所定のタイミングでネットワークN、及び通信部10を介して出品物データを取得する。所定のタイミングは、例えば、出品物が出品された時、落札された時、価格などが更新された時、予め設定された所定時間が経過した時である。所定のタイミングは、これらの条件を複数含んでもよい。
【0049】
取得部21が所定のタイミングで出品物データを取得することで、出品物データには、出品物の取引時に決定される取引情報が含まれる。例えば、オークションや、フリーマーケットなどの個人間取引においては、取引時の価格は、出品時の価格とは異なることが多い。また、例えば、ECサイトを通じて行われる企業対消費者間取引においても、キャンペーン時期などには出品時の価格に対し特別に価格が割引になるなど、取引時の価格は、販売開始時(出品時)の価格とは異なることがある。本実施形態では、取得部21が所定のタイミングで出品物データを取得することで、実際に取引が成立した取引時の価格などの取引情報を出品物データとして含むことができる。
【0050】
取得部21は、所定のタイミングで、ショッピングサーバ2Aなどに自発的にアクセスして、出品物データを取得する場合には、ショッピングサーバ2AのDB2a、及びオークションサーバ2BのDB2bに蓄積された出品物データのうち、所定条件を満たす出品物データは取得しない。所定条件は、出品物データの信用度が低いデータであり、例えば、評価が低い出品者が出品した出品物データ、情報データが少ない出品物データ、画像の質が悪い(画像データの容量が小さい)出品物データ、入札数が少ない(例えば、入札がされていない)出品物データが該当する。
【0051】
つまり、取得部21は、ショッピングサーバ2A、及びオークションサーバ2Bから取得可能な出品物データに対してフィルタをかけることで、信用度の低い出品物データをショッピングサーバ2A、及びオークションサーバ2Bから取得せず、信用度の高い出品物データのみをショッピングサーバ2A、及びオークションサーバ2Bから取得する。信用度は、実際の取引における「口コミ」などの取引に関する評価や、情報データの多さなどによって設定される。特に、取引に関する評価は、例えば、取引の当事者である、出品者と、落札者などとのお互いの満足度を採点した評価であり、実際の取引における評価が高い場合には、そのような出品物データは正しいデータである可能性が高い。そのため、取引に関する評価が高い出品物データは信用度が高く設定される。
【0052】
また、取得部21は、所定のタイミングで、ショッピングサーバ2A、及びオークションサーバ2Bから出品物データが自動的に送信される場合には、全ての出品物データを取得後に、所定条件を満たす出品物データを削除してもよい。
【0053】
[3.1.4.抽出部22]
抽出部22は、取得部21によって取得した出品物データから、出品物の情報データと出品物の画像データとを抽出する。抽出部22は、出品物データに出品物の画像データが複数含まれる場合には、複数の出品物の画像データを抽出する。
【0054】
[3.1.5.分析部23]
分析部23は、抽出部22によって抽出した出品物の情報データに含まれる、「商品名」、「型番」、及び「カラー」に関するデータに基づいて、辞書キーを検索する。なお、これら以外の出品物の情報データに基づいて、辞書キーを検索してもよい。分析部23は、検索の結果、辞書キーを検索できなかった場合、すなわち、新たな種別の出品物に関する出品物の情報データが抽出部22によって抽出された場合には、新たな辞書キーを新たな種別の出品物の情報データに付与する。そして、分析部23は、出品物の画像データを、辞書キーに属するクラスに分類する。
【0055】
辞書キーには、物品参照用データが関連付けられているが、物品参照用データに含まれる出品物の情報データ、例えば、「商品名」、「型番」、「カラー」などによって、辞書キーを検索することができる。
【0056】
辞書キーは、出品物の情報データ毎に予め付与され、記憶部30に記憶されている。辞書キーは、同一の出品物であっても、出品物の撮影角度が異なる出品物の画像データがある場合には、複数設定されている。
【0057】
従って、出品物の撮影角度が異なる出品物の画像データは、異なる辞書キーに属するクラスに分類される。例えば、出品物が正面から撮影された画像についての出品物の画像データと、出品物が背面から撮影された画像についての出品物の画像データとは、異なる辞書キーに属するクラスに分類される。
【0058】
分析部23は、出品物の撮影角度が異なる出品物の画像データがある場合には、以下のようにして各出品物の画像データを分類する。
【0059】
まず、分析部23は、出品物の情報データに基づいて辞書キーを検索する。この場合、辞書キーが複数検索される。分析部23は、検索した各辞書キーに関連付けられて記憶部30に記憶された代表画像データを読み出す。代表画像データは、出品物の画像データを、撮影角度に応じて分類するための画像データである。代表画像データは、人為的に設定されている。代表画像データは、例えば、画質が良い画像から取得された画像データである。
【0060】
分析部23は、代表画像データを出品物の画像データと比較することで、出品物の画像データを撮影角度毎に分類する。分析部23は、例えば、テンプレートマッチング法により、各代表画像データと画像データとの類似度を算出する。
【0061】
そして、分析部23は、出品物の画像データを、類似度が最も高い代表画像データの辞書キーに属するクラスに分類する。出品物の撮影角度は、概ね決まっており、撮影角度毎に特徴(形状や大きさ)が異なることが多い。そのため、分析部23は、各代表画像データと、画像データとの類似度を算出し、類似度が最も高い代表画像データにおける出品物の撮影角度と、出品物の画像データにおける出品物の撮影角度とが一致していると判定し、分類を行う。
【0062】
なお、分析部23は、出品物の画像データと各代表画像データとの類似度が、予め設定された所定値よりも全て低い場合には、出品物の画像データの信用度が低いと判定し、出品物の画像データを分類しなくてもよい。この場合、この出品物の画像データは、後述する作成部24において画像辞書データを作成するための画像データ(正例)としては使用されない。
【0063】
[3.1.6.作成部24]
作成部24は、分析部23によって分類された出品物の画像データを用いて、機械学習を行い、辞書キーに対する画像辞書データを作成する。同一の出品物に対して、複数の辞書キーが付与されている場合には、各辞書キーに属するクラス毎に機械学習を行い、各辞書キーに対応する画像辞書データを作成する。
【0064】
作成部24は、出品物データから抽出した出品物の画像データ(正例)と、対象とする出品物以外の出品物データから抽出した出品物の画像データ(負例)とをそれぞれ多数(例えば、数100〜数1000個)用意する。そして、作成部24は、これらの画像データの特徴量、例えば、HOG(Histograms of Oriented Gradients)特徴量を抽出し、例えば、SVM(Support Vector Machine)の識別器を用いて機械学習を行い、画像辞書データを作成する。
【0065】
画像辞書データは、例えば、出品物の画像データから抽出される各特徴量に対する重み付けが行われたモデルであり、出品物の画像データの特徴量の分布に対応した辞書データである。
【0066】
なお、特徴量は、HOG特徴量の他に、SIFT(Scale-Invariant Feature Transform)特徴量などであってもよい。また、識別器は、SVMの他に、例えば、アダブースト(AdaBoost)などの識別器であってもよい。
【0067】
また、作成部24は、抽出部22によって抽出された出品物の情報データに基づいて、出品物参照用データを作成する。作成部24は、出品物の情報データに含まれる各データ、例えば、「商品名」、「落札価格」、「落札価格の分布」、「入札件数」、「型番」、「カラー」などを、出品物参照用データの要素として関連付け、出品物参照用データを作成する。
【0068】
作成部24は、作成した画像辞書データと出品物参照用データとを辞書キーに関連付けることで辞書データを作成する。これにより、画像辞書データと出品物参照用データとが関連付けられる。なお、画像辞書データと出品物参照用データとが関連付けられるとは、画像辞書データと、出品物参照用データに含まれる各出品物の情報データとが関連付けられることを含んでいる。
【0069】
作成部24は、取得部21によって新たな出品物データが得られた場合には、新たな出品物の画像データと、新たな出品物の情報データとを加えて、辞書データを作成する。すなわち、新たな出品物データが取得された場合には、辞書データが更新される。これにより、例えば、オークションなどによる個人間取引や、ECサイトなどにおける企業対消費者間取引による取引が成立した取引時に決定される取引情報を出品物参照用データとして含んだ辞書データが作成される。
【0070】
なお、新たな出品物データにおいて、出品物の情報データのみが更新されていた場合には、作成部24は、画像辞書データを更新せずに、出品物参照用データのみを更新して、辞書データを更新してもよい。これにより、情報処理装置1の負荷を低減することができる。
【0071】
このように、作成部24は、ショッピングサーバ2Aや、オークションサーバ2Bなどのサービス提供装置2から自動的に取得する出品物データから抽出される、出品物の画像データと出品物の情報データとに基づいて、辞書データを作成する。
【0072】
[3.1.7.記憶部30]
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置によって実現される。
【0073】
記憶部30は、作成部24によって作成された辞書データと、代表画像データとを、辞書キー毎に記憶する。記憶部30には、例えば、
図8に示すように、各辞書キーに対し、辞書データに含まれる、画像辞書データ、及び出品物参照用データと、代表画像データとが関連付けられて記憶されている。
図8は、記憶部30における、辞書キーと画像辞書データと出品物参照用データと代表画像データとの関係を示すテーブルである。
【0074】
図8では、辞書キー「d0001」に対し、画像辞書データ「D0001」と出品物参照用データ「I0001」と代表画像データ「Q0001」とが関連付けられて記憶されている。また、辞書キー「d0002」に対し、画像辞書データ「D0002」と出品物参照用データ「I0001」と代表画像データ「Q0002」とが関連付けられて記憶されている。また、辞書キー「d0003」に対し、画像辞書データ「D0003」と出品物参照用データ「I0001」と代表画像データ「Q0003」とが関連付けられて記憶されている。これは、辞書キー「d0001」〜「d0003」は、同一の出品物で、出品物の撮影角度が異なる辞書キーであることを意味している。
【0075】
また、
図8では、辞書キー「d0004」に対し、画像辞書データ「D0004」と出品物参照用データ「I0002」と代表画像データ「Q0004」とが関連付けられて記憶されている。これは、辞書キー「d0004」に対応する出品物が、辞書キー「d0001」〜「d0003」に対応する出品物とは異なることを意味している。
【0076】
[3.1.8.検索部25]
検索部25は、ユーザから送信された送信画像データの画像識別を行う。検索部25は、記憶部30に記憶された画像辞書データを用いて、送信画像データの特徴が類似する画像辞書データを検索する。検索部25は、例えば、送信画像データの特徴量を、作成部24と同様に抽出し、抽出した送信画像データの特徴量から、送信画像データの特徴が類似する画像辞書データを検索する。そして、検索部25は、検索した画像辞書データの辞書キーを読み出す。
【0077】
検索部25は、例えば、送信画像データの特徴量を画像辞書データに基づいてスコア化し、スコアが予め設定された所定値以上である場合に、送信画像データの特徴が画像辞書データと類似していると判定する。そして、検索部25は、スコアが最も高い画像辞書データの辞書キーを読み出す。なお、ここでは、スコアが高くなるほど、送信画像データの特徴が画像辞書データと類似するものとする。
【0078】
検索部25は、読み出した辞書キーに基づいて、画像辞書データに関連付けられた出品物参照用データを読み出す。
【0079】
このようにして、検索部25は、送信画像データの特徴が類似する画像辞書データに関連付けられた出品物参照用データを検索する。
【0080】
検索部25は、このようにして検索した出品物参照用データを、送信画像データとともに、通信部10、ネットワークNを介して情報端末4に送信する。
【0081】
出品物参照用データには、出品物の「商品名」、「落札価格」、「落札価格の分布」などが含まれており、出品物の取引時に決定される取引情報が含まれている。すなわち、情報端末4には、出品物の取引時に決定される取引情報も送信され、情報端末4にこれらの情報を表示させることができる。
【0082】
[3.2.情報処理装置1における処理例]
次に、ユーザが、Aカメラを正面から撮影し、情報処理装置1にAカメラを正面から撮影した画像の送信画像データを送信した場合を一例として、情報処理装置1における処理を説明する。
【0083】
ここでは、
図8の画像辞書データ「D0001」は、例えば、
図3、
図5においてAカメラを正面から撮影した画像の画像データなどから機械学習により作成された画像辞書データである。
図8の画像辞書データ「D0002」は、例えば、
図3、
図5においてAカメラを背面から撮影した画像の画像データなどから機械学習により作成された画像辞書データである。
図8の画像辞書データ「D0003」は、例えば、
図5においてAカメラを斜めから撮影した画像の画像データなどから機械学習により作成された画像辞書データである。
【0084】
出品物参照用データ「I0001」は、
図4に示す出品物の情報データに含まれる各データと、
図6に示す出品物の情報データに含まれる各データとを含むデータである。
【0085】
ユーザが、Aカメラを正面から撮影すると、情報端末4の画面40に、例えば、
図9に示す画像が表示される。
図9は、ユーザが撮影したAカメラの画像を表示する情報端末4の表示例である。ユーザが、送信ボタン41を操作(タッチ)すると、Aカメラを正面から撮影した画像の画像データ(送信画像データ)が、ネットワークNを介して情報処理装置1に送信される。
【0086】
情報処理装置1では、Aカメラを正面から撮影した画像の送信画像データを、通信部10を介して検索部25が取得する。そして、検索部25によって送信画像データの特徴量が抽出され、画像識別が行われる。
【0087】
送信画像データは、Aカメラを正面から撮影した画像の画像データであり、送信画像データの特徴は、
図8の画像辞書データ「D0001」に類似する。従って、検索部25は、画像辞書データ「D0001」に関連付けられた辞書キー「d0001」を読み出す。次に、検索部25は、辞書キー「d0001」に関連付けられた出品物参照用データ「I0001」を読み出す。
【0088】
そして、情報処理装置1は、通信部10、ネットワークNを介して、情報端末4に、送信画像データとともに、読み出した出品物参照用データを送信する。すなわち、情報処理装置1によって、送信画像データとともに、出品物参照用データに含まれる出品物の情報データが、情報端末4に送信される。
【0089】
これにより、ユーザの情報端末4の画面40には、例えば、
図10に示す画像が表示される。
図10は、情報処理装置1によって送信された、出品物参照用データと送信画像データとを表示する情報端末4の表示例である。情報端末4には、出品物の情報として、例えば、「ユーザが撮影した画像」、「メーカー」、「商品名」、「型番」、「販売価格」、及び「落札価格」が表示される。
【0090】
ユーザは、撮影したカメラ(物品)がAカメラであるかどうか知らない場合でも、情報端末4でカメラを撮影し、その画像データを情報処理装置1に送信することで、撮影したカメラの「商品名」、「販売価格」、「落札価格」などの情報を得ることができる。
【0091】
なお、ユーザの情報端末4には、出品物参照用データに含まれる、「価格推移」、「出品物の状態」などの情報が表示されてもよい。
【0092】
例えば、ユーザが、或る物品に興味がある場合には、物品を情報端末4によって撮影し、撮影した物品の画像データ(送信画像データ)を情報処理装置1に送信することで、物品の情報を得ることができる。このように、物品に関する情報をすぐに取得することで、物品の購買意欲を高めることができる。また、ユーザが、自己の有する物品をオークションに出品することを考えている場合には、オークションにおける落札価格などを知ることができ、オークションへの出品を促すことができる。また、オークションへの出品に必要な各種情報を、取得した情報を引用して入力することもでき、オークションへの出品を容易に行うことができる。また、中古買取業者は、現在の物品の価格を容易に調べることができ、買い取り価格を容易に設定することができる。
【0093】
[4.情報処理装置1の処理フロー]
[4.1.辞書データ作成処理フロー]
次に、情報処理装置1における辞書データ作成処理について、
図11のフローチャートを用いて説明する。
図11は、情報処理装置1における辞書データ作成処理を示すフローチャートである。
【0094】
図11に示すように、情報処理装置1の制御部20は、所定のタイミングで、ネットワークNを介して、サービス提供装置2(ショッピングサーバ2Aや、オークションサーバ2Bなど)から出品物データを取得する(ステップS100)。
【0095】
次に、制御部20は、取得した出品物データから、出品物の情報データと出品物の画像データとを抽出する(ステップS101)。
【0096】
次に、制御部20は、抽出した出品物の情報データに含まれる、「商品名」、「型番」、及び「カラー」に関するデータに基づいて、これらのデータが含まれる出品物参照用データを関連付けた辞書キーを検索する(ステップS102)。
【0097】
制御部20は、同一の出品物に対して辞書キーが複数設定されている場合(ステップS103;Yes)には、各辞書キーに関連付けられた代表画像データを読み出す(ステップS104)。
【0098】
制御部20は、出品物の画像データを、辞書キーに属するクラスに分類する。同一の出品物に対して辞書キーが複数設定されている場合には、制御部20は、出品物の画像データを、類似度が最も高い代表画像データの辞書キーに属するクラスに分類する(ステップS105)。
【0099】
次に、制御部20は、辞書キーに属するクラスに分類された出品物の画像データに基づいて、画像辞書データを作成する(ステップS106)。
【0100】
また、制御部20は、取得された出品物の情報データに基づいて、出品物参照用データを作成する(ステップS107)。
【0101】
次に、制御部20は、作成した画像辞書データと出品物参照用データとを関連付けた辞書データを作成する(ステップS108)。
【0102】
次に、制御部20は、作成された辞書データを記憶部30に記憶させる(ステップS109)。
【0103】
このようにして、情報処理装置1は、サービス提供装置2から出品物データを取得し、辞書データを作成する。
【0104】
[4.2.物品検索処理フロー]
次に、情報処理装置1における物品検索処理について、
図12のフローチャートを用いて説明する。
図12は、情報処理装置1における物品検索処理を示すフローチャートである。
【0105】
図12に示すように、ネットワークNを介して、情報端末4から、ユーザが撮影した物品の送信画像データが送信された場合には、情報処理装置1の通信部10は、送信画像データを受信する(ステップS200)。
【0106】
次に、情報処理装置1の制御部20は、送信画像データの特徴量を抽出し、抽出した送信画像データの特徴量から、送信画像データの特徴が類似する画像辞書データを検索する(ステップS201)。そして、制御部20は、検索した画像辞書データの辞書キーを読み出す(ステップS202)。
【0107】
次に、制御部20は、検索した辞書キーに関連付けられた出品物参照用データを読み出す(ステップS203)。
【0108】
次に、通信部10は、ネットワークNを介して、送信画像データと、読み出した出品物参照用データとを情報端末4に送信する(ステップS204)。
【0109】
このようにして、ユーザが物品を撮影し、物品の画像データ(送信画像データ)を情報処理装置1に送信すると、物品に関する情報がユーザに提供される。
【0110】
[5.変形例]
[5.1.第1変形例]
第1変形例の情報処理装置1は、出品物実画像データを辞書キーに関連付けて記憶する。出品物実画像データは、例えば、情報端末4に出品物の実画像を表示させることができる画像データ(出品物の実画像に関する画像データ)である。出品物実画像データは、例えば、代表画像データである。出品物実画像データは、人為的に設定されてもよく、また、例えば、評価が高い出品者の出品物データから取得された出品物の画像データであってもよい。
【0111】
記憶部30には、
図13に示すように、辞書キーに関連付けられて、画像辞書データ、出品物参照用データ、及び代表画像データに加えて、出品物実画像データが記憶されている。
図13は、第1変形例における、辞書キーと画像辞書データと出品物参照用データと代表画像データと出品物実画像データとの関係を示すテーブルである。
【0112】
記憶部30には、例えば、同じ出品物を示す辞書キー「d0001」〜「d0003」に関連付けられて出品物実画像データ「PC0001」が記憶されている。また、記憶部30には、別の出品物を示す辞書キー「d0004」に関連付けられて出品物実画像データ「PC0002」が記憶されている。
【0113】
情報処理装置1は、ユーザによって送信画像データが送信された場合に、送信画像データの特徴が類似する画像辞書データに関連付けられた出品物実画像データを、出品物参照データとともにユーザの情報端末4に送信する。これにより、情報端末4の画面40には、出品物の情報とともに出品物の実画像が表示される。これにより、ユーザは、ユーザが撮影した物品と、情報端末4に表示された出品物の実画像とを視覚により比較することができる。
【0114】
なお、情報処理装置1は、送信画像データと出品物実画像データと出品物参照データとを、情報端末4に送信してもよい。これにより、ユーザは、ユーザが撮影した物品の画像と、出品物の実画像とを、情報端末4で比較することができ、物品と出品物との比較を容易に行うことができる。
【0115】
さらなる変形例として、情報処理装置1は、送信画像データの特徴が類似する画像辞書データを複数検索し、各画像辞書データに関連付けられた、出品物参照データ、出品物実画像データを情報端末4に複数送信してもよい。これにより、情報端末4の画面40には、例えば、
図14に示すように、ユーザが撮影した物品と類似する、出品物の実画像と出品物の情報とが複数表示される。
図14は、カメラを一例として、複数の出品物が表示された情報端末4の表示例である。
【0116】
さらなる変形例では、撮影した物品と類似する、出品物の実画像、及び出品物の情報をユーザに複数提供することができ、ユーザは複数の出品物(物品)の中から、好みの物品を探すことができる。これにより、情報端末4における物品検索能力を高めるとともに、ユーザの購買意欲を高めることができる。
【0117】
[5.2.第2変形例]
第2変形例の情報処理装置1は、出品物の情報データとともに、出品物実画像データを情報端末4に送信した場合に、ユーザの選択結果を、ネットワークNを介して通信部10によって受信する。選択結果とは、出品物実画像データに基づいて、情報端末4に表示させた出品物の実画像の中の出品物が、ユーザが撮影した物品と一致したかどうかを示す情報である。
【0118】
情報処理装置1は、例えば、出品物の実画像を、情報端末4に表示させた時間が長い場合には、ユーザが撮影した物品と、出品物の実画像の中の出品物とが一致していると判断する。すなわち、送信画像データに対して、検索した結果が正しかったと判断する。なお、判断方法としては、これに限られず、例えば、情報端末4に表示させた出品物の実画像の中の出品物が、ユーザが撮影した物品と一致するかどうかを確認するボタンを情報端末4に表示し、そのボタン操作(タッチ操作)の結果を通信部10によって受信してもよい。
【0119】
情報処理装置1は、ユーザが撮影した物品と、情報端末4に表示させた出品物の実画像の出品物とが一致している場合には、送信画像データをさらに用いて機械学習を行い、画像辞書データを作成し、辞書データを更新する。このように、ユーザによって確認された情報を用いて画像辞書データを更新することで、精度の良い辞書データを作成することができる。
【0120】
[5.3.第3変形例]
第3変形例の情報処理装置1は、出品物の情報データに対する信用度が高い出品物データから抽出された出品物の画像データが有する特徴量に対する重みを大きくして画像辞書データを作成する。
【0121】
例えば、ショッピングサーバ2AのDB2aから取得した出品物データに、多くの出品物の情報データが含まれている場合には、作成部24は、出品物についての情報の質が高く、信用度が高いと判定する。そして、このような出品物データから抽出した出品物の画像データが有する特徴量に対する重みを大きくして画像辞書データを作成する。
【0122】
また、例えば、評価が高い出品者が出品した出品物については、作成部24は、信用度が高いと判定する。そして、このような出品物の出品物データから抽出した出品物の画像データが有する特徴量に対する重みを大きくして画像辞書データを作成する。
【0123】
また、オークション開始から落札までの時間が短い出品物など、出品物が出品されてから取引終了までの時間が短い出品物については、例えば出品物の画像データや、出品物の情報データが正確であり、特に画像の質が高いと推定される。従って、このような出品物データから抽出した出品物の画像データが有する特徴量に対する重みを大きくして画像辞書データを作成する。
【0124】
このように、出品物の情報データに対する信用度が高い出品物データから抽出された出品物の画像データが有する特徴量に対する重みを大きくして画像辞書データを作成することで、精度の良い画像辞書データを作成することができる。
【0125】
[6.ハードウェアの構成]
上記してきた実施形態に係る情報処理装置1は、例えば
図15に示すような構成のコンピュータ1000によって実現される。
図15は、情報処理装置1の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
【0126】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0127】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が決定したデータをネットワークNを介して他の機器へ送信する。
【0128】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、決定したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0129】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0130】
例えば、コンピュータ1000が実施形態に係る情報処理装置1として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部20の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
【0131】
[7.効果]
実施形態に係る情報処理装置1は、取得部21と、抽出部22と、作成部24とを備える。取得部21は、ネットワークNを介して出品物の取引サービスを提供するサービス提供装置2から複数の出品物データを取得する。抽出部22は、取得部21によって取得した出品物データから、出品物の画像データと出品物の情報データとを抽出する。作成部24は、抽出部22によって抽出した、出品物の画像データと出品物の情報データとに基づいて、物品検索用の辞書データを作成する。
【0132】
このように、ショッピングサーバ2Aや、オークションサーバ2Bなどのサービス提供装置2から自動的に出品物データを取得し、取得した出品物データから抽出された、出品物の画像データと出品物の情報データとに基づいて、辞書データを作成することで、精度の良い辞書データを効率的に作成することができる。
【0133】
また、取得部21は、所定のタイミングで、サービス提供装置2から出品物データを新たに取得する。抽出部22は、取得部21によって新たに取得した出品物データから、出品物の画像データと、出品物の情報データとを新たに抽出する。作成部24は、抽出部22によって新たに抽出した、出品物の画像データと、出品物の情報データとに基づいて、辞書データを更新する。
【0134】
所定のタイミングで、サービス提供装置2から出品物データを新たに取得し、新たな出品物データに基づいて辞書データを更新することで、販売価格の変更など、出品物に関する情報の変更に応じて辞書データを更新することができる。これにより、例えば、物品の検索を行ったユーザに、物品検索時における出品物の正確な情報を提供することができる。
【0135】
出品物データには、出品物の取引時に決定される取引情報が含まれる。
【0136】
出品物データに、出品物の取引時に決定される取引情報が含まれることで、取得部21は、出品後に実際に行われた取引時の取引情報を取得することができる。そのため、取引時の取引情報を含んだ辞書データを作成することができる。これにより、物品検索を行ったユーザに対し、取引時の取引情報を提供することができ、例えば、オークションやフリーマーケットなどへの出品を促すことができ、また、物品の購買意欲を高めることができ、商取引を活性化させることができる。
【0137】
また、作成部24は、出品物の情報データに対する信用度が高い出品物データから抽出した出品物の画像データが有する特徴量に対する重みを大きくして、辞書データを作成する。
【0138】
出品物の情報データに対する信用度が高い出品物データから抽出された出品物データは、情報が正確である可能性が高い。そのため、このような出品物データから抽出された画像データが有する特徴量に対する重みを大きくすることで、精度の良い辞書データを作成することができる。
【0139】
また、作成部24は、出品物の情報データに対する信用度が低い出品物データを用いずに辞書データを作成する。
【0140】
例えば、低評価を受けている出品者が出品した出品物から取得可能な出品物データや、画像の質が悪い出品物データや、情報データが少ない出品物データなど、信用性が低い出品物の出品物データに基づいて、辞書データが作成されないようにすることで、精度の良い辞書データを作成することができる。
【0141】
また、信用度を出品物の取引に関する評価に基づいて設定する。
【0142】
実際の取引における、取引に関する評価に基づいた信用度を考慮して辞書データを作成することで、精度の良い辞書データを作成することができる。
【0143】
また、作成部24は、出品物が出品されてから取引終了までの時間が短い出品物から取得した出品物の画像データが有する特徴量に対する重みを大きくして、辞書データを作成する。
【0144】
出品物が出品されてから取引終了までの時間が短い出品物については、例えば出品物の画像データや、出品物の情報データが正確であり、特に画像の質が高いと推定される。従って、このような出品物データから抽出した出品物の画像データが有する特徴量に対する重みを大きくして画像辞書データを作成することで、精度の良い画像辞書データを作成することができる。
【0145】
また、情報処理装置1は、通信部10と、検索部25とを備える。通信部10は、ユーザが送信した物品の画像データ(送信画像データ)を受信する。検索部25は、物品の画像データ(送信画像データ)の特徴が類似する画像辞書データを検索する。また、通信部10は、物品の画像データ(送信画像データ)の特徴が類似する画像辞書データに関連付けられ、出品物の情報データを含む出品物参照用データを情報端末4に送信する。
【0146】
このように、ユーザが物品の画像データ(送信画像データ)を送信すると、ユーザは、物品に関する情報をすぐに取得することができ、物品の購買意欲を高めることができ、また、オークションへの出品を促すことができる。そのため、商取引を活性化させることができる。
【0147】
また、通信部10は、物品の画像データ(送信画像データ)の特徴が類似する画像辞書データに関連付けられた、出品物参照用データと出品物の実画像に関する画像データとを、情報端末4に送信する。
【0148】
このように、ユーザは、ユーザが撮影した物品と、情報端末4に表示された出品物の実画像を視覚により比較することができ、物品と出品物との比較を容易に行うことができる。
【0149】
また、通信部10は、出品物の実画像に関する画像データと、物品の画像データ(送信画像データ)との一致結果を受信する。作成部24は、出品物の実画像に関する画像データと、物品の画像データとが一致している場合、物品の画像データ(送信画像データ)を用いて辞書データを更新する。
【0150】
このように、ユーザによって確認された情報を用いて画像辞書データを更新することができ、精度の良い辞書データを作成することができる。
【0151】
また、検索部25は、物品の画像データ(送信画像データ)の特徴が類似する画像辞書データに関連付けられた出品物参照用データを複数検索する。通信部10は、物品の画像データ(送信画像データ)の特徴が類似する画像辞書データに関連付けられた、出品物参照用データと出品物の実画像に関する画像データとを、情報端末4に複数送信する。
【0152】
これにより、ユーザは複数の出品物(物品)の中から、好みの物品を探すことができ、情報端末4における物品検索能力を高めることができる。また、ユーザの購買意欲を高めることができ、商取引を活性化させることができる。
【0153】
[8.その他]
上記した情報処理装置1や、ショッピングサーバ2Aや、オークションサーバ2Bは、それぞれ複数の装置や、サーバコンピュータなどで実現してもよく、また、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークNコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。すなわち、情報処理装置1の各部の処理を、他の装置で行ってもよい。
【0154】
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、制御部20は、制御手段や制御回路に読み替えることができる。
【0155】
上記実施形態では、撮影角度が異なる出品物の画像データを各辞書キーに属するクラスに分類する際に用いる代表画像データを人為的に設定したが、制御部20によって自動的に設定してもよい。例えば、ショッピングサーバ2AのDB2aから取得する出品物データの中から、画質が良い画像の出品物の画像データを複数枚選択し、選択した出品物の画像データを特徴が類似するデータ毎に分類する。そして、類似する出品物の画像データの1つを代表画像データとしてもよい。
【0156】
また、分析部23は、撮影角度が異なる出品物の画像データを各辞書キーに属するクラスに分類する際に、画像辞書データを作成する方法と同様の方法により、分類してもよい。
【0157】
また、作成部24によって、辞書データを作成する際に、例えば、オークションサーバ2BのDB2bから取得した出品物データから抽出した出品物の画像データは、画像の質が高いと判定してもよい。このような場合には、作成部24は、この画像データが有する特徴量に対する重みを大きくして画像辞書データを作成する。これにより、精度の良い辞書データを作成することができる。
【0158】
上記実施形態では、取得部21は、信用度が低い出品物データを取得しないようにしたが、取得部21は、全ての出品物データを取得してもよい。この場合、抽出部22が、信用度が低い出品物データから、出品物の画像データと出品物の情報データとを抽出しないようにする。すなわち、画像辞書データを作成する際に、信用度が低い出品物データから抽出される出品物の画像データを用いて機械学習が行われないようにすればよい。
【0159】
上記実施形態では、辞書キーに関連付けて、画像辞書データ、出品物参照用データなどを記憶部30に記憶させたが、画像辞書データと出品物参照用データなどを直接関連付けて、記憶部30に記憶させてもよい。
【0160】
また、ユーザが、撮影角度を変更して撮影した物品の画像に関する画像データ(送信画像データ)を情報処理装置1に送信した場合、撮影角度毎に、例えば、「落札価格」や、「落札推移」などを表示させてもよい。これにより、ユーザが、物品をオークションに出品することを考えている場合に、より高く売れる撮影角度によって物品を撮影し、オークションに出品することができる。なお、このような場合には、出品物参照用データを、出品物の撮影角度毎に分けて辞書データを作成する。
【0161】
また、作成部24は、辞書データを出品物参照用データに応じて複数作成してもよい。例えば、「出品物の状態」に応じて複数の辞書データを作成してもよい。このようにして作成された複数の辞書データには、「出品物の状態」毎の取引価格の相場などが個別に含まれる。例えば、「出品物の状態」が「良い」、出品物の取引価格の相場は、「出品物の状態」が「悪い」、出品物の取引価格の相場よりも高い。従って、「出品物の状態」が「良い」、出品物に関する出品物データから作成された辞書データには、「出品物の状態」が「悪い」、出品物に関する出品物データから作成された辞書データよりも、出品物の取引価格の相場が高いデータが、出品物参照用データとして含まれる。これにより、例えば、ユーザが、物品をオークションに出品することを考えている場合に、物品の状態に応じた詳細な情報を得ることができる。
【0162】
また、検索部25は、画像識別を行う場合に、スコアが高くなるほど、送信画像データの特徴が画像辞書データと非類似であるとしてもよい。この場合には、検索部25は、スコアが予め設定された所定値よりも低い場合に、送信画像データの特徴が画像辞書データと類似していると判定する。
【0163】
また、画像辞書データを出品物の画像データの特徴量の分布で表し、検索部25は、画像辞書データと、送信画像データの特徴量の分布とを比較し、その類似度に基づいて、画像識別を行ってもよい。
【0164】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細、及び代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲、及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【解決手段】情報処理装置は、取得部と、抽出部と、作成部とを備える。取得部は、ネットワークを介して出品物の取引サービスを提供するサービス提供装置から出品物データを取得する。抽出部は、取得部によって取得した出品物データから、出品物の画像データと出品物の情報データとを抽出する。作成部は、抽出部によって抽出した、出品物の画像データと出品物の情報データとに基づいて、物品検索用の辞書データを作成する。