(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-20
(45)【発行日】2022-09-29
(54)【発明の名称】生地検索装置、生地検索システムおよび生地検索プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220921BHJP
G06Q 30/02 20120101ALI20220921BHJP
【FI】
G06T7/00 350C
G06Q30/02 470
(21)【出願番号】P 2020220065
(22)【出願日】2020-12-24
【審査請求日】2022-06-09
【早期審査対象出願】
(73)【特許権者】
【識別番号】521410991
【氏名又は名称】Bird fab studio株式会社
(74)【代理人】
【識別番号】110000464
【氏名又は名称】弁理士法人いしい特許事務所
(72)【発明者】
【氏名】上羽 英行
【審査官】山田 辰美
(56)【参考文献】
【文献】中国特許出願公開第111125397(CN,A)
【文献】特開平11-039325(JP,A)
【文献】国際公開第2018/016494(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
G06Q 30/02
(57)【特許請求の範囲】
【請求項1】
予め登録される複数種類の生地それぞれの画像を示す複数種類の登録生地画像情報を取得する登録生地画像取得部と、
発注者が発注した生地の画像を示す発注生地画像情報を取得する発注生地画像取得部と、
前記登録生地画像取得部にて取得された複数種類の登録生地画像情報、及び、前記発注生地画像情報の特徴量を算出する特徴量算出部と、
前記複数種類の登録生地画像情報それぞれの特徴量情報、及び、前記複数種類の登録生地画像情報それぞれを識別させる固有の生地識別情報に一対一で対応づけられる視覚および触覚を感性尺度として生地を評価した感性評価値を設定する評価値設定部と、
ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するニューラルネットワーク計算部と、
前記ニューラルネットワークの重み係数を決定する係数決定部と、
前記評価値設定部にて設定された感性評価値とその生地識別情報の対応関係に基づいて、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値から、前記発注生地画像情報に対する生地識別情報を特定する発注生地特定部と
を備え
、
前記係数決定部は、前記評価値設定部にて設定された感性評価値と、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値の誤差を算出し、当該誤差に基づいて前記発注生地画像情報に対する感性評価値に近づくように前記ニューラルネットワークの重み係数を決定するものであり、
前記ニューラルネットワーク計算部は、前記係数決定部により前記重み係数が決定された前記ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するものである、
生地検索装置。
【請求項2】
発注者が所持する第1端末装置と、
前記発注者に生地を提供する利用者が所持する第2端末装置と、
予め登録される複数種類の生地それぞれの画像を示す複数種類の登録生地画像情報を前記第2端末装置から送信されて取得する登録生地画像取得部と、
発注者が発注する生地の画像を示し且つ前記第1端末装置から送信される発注生地画像情報を取得する発注生地画像取得部と、
前記登録生地画像取得部にて取得された複数種類の登録生地画像情報、及び、前記発注生地画像情報の特徴量を算出する特徴量算出部と、
前記複数種類の登録生地画像情報それぞれの特徴量情報、及び、前記複数種類の登録生地画像情報それぞれを識別させる固有の生地識別情報に一対一で対応づけられる視覚および触覚を感性尺度として生地を評価した感性評価値を設定する評価値設定部と、
ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するニューラルネットワーク計算部と、
前記ニューラルネットワークの重み係数を決定する係数決定部と、
前記評価値設定部にて設定された感性評価値とその生地識別情報の対応関係に基づいて、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値から、前記発注生地画像情報に対する生地識別情報を特定する発注生地特定部と、
前記発注生地特定部により特定された前記生地識別情報を前記第2端末装置へ送信する発注生地情報送信部と
を備え、
前記係数決定部は、前記評価値設定部にて設定された感性評価値と、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値の誤差を算出し、当該誤差に基づいて前記発注生地画像情報に対する感性評価値に近づくように前記ニューラルネットワークの重み係数を決定するものであり、
前記ニューラルネットワーク計算部は、前記係数決定部により前記重み係数が決定された前記ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するものである、
生地検索システム。
【請求項3】
コンピュータを、
予め登録される複数種類の生地それぞれの画像を示す複数種類の登録生地画像情報を取得する登録生地画像取得部、
発注者が発注した生地の画像を示す発注生地画像情報を取得する発注生地画像取得部、
前記登録生地画像取得部にて取得された複数種類の登録生地画像情報、及び、前記発注生地画像情報の特徴量を算出する特徴量算出部、
前記複数種類の登録生地画像情報それぞれの特徴量情報、及び、前記複数種類の登録生地画像情報それぞれを識別させる固有の生地識別情報に一対一で対応づけられる視覚および触覚を感性尺度として生地を評価した感性評価値を設定する評価値設定部、
ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するニューラルネットワーク計算部、
前記ニューラルネットワークの重み係数を決定する係数決定部、
前記評価値設定部にて設定された感性評価値とその生地識別情報の対応関係に基づいて、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値から、前記発注生地画像情報に対する生地識別情報を特定する発注生地特定部
として機能させ、
前記係数決定部は、前記評価値設定部にて設定された感性評価値と、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値の誤差を算出し、当該誤差に基づいて前記発注生地画像情報に対する感性評価値に近づくように前記ニューラルネットワークの重み係数を決定するものであり、
前記ニューラルネットワーク計算部は、前記係数決定部により前記重み係数が決定された前記ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するものである、
生地検索プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生地検索装置、生地検索システム、生地検索方法およびプログラムに関する。
【背景技術】
【0002】
生地の商品データと、視覚および触覚を感性尺度として生地を評価した感性評価値データに基づいて生地を検索するか、または、生地の生地種、素材および生地の用途を基本項目とする基本項目データに基づいて生地を検索するかを操作者に選択させる画面を表示部に表示させる生地検索システムが提案されている(例えば特許文献1参照)。この生地検索システムでは、操作者が感性評価値データから生地を検索することを選択した場合、生地の感性評価値を選択可能に示された画面を表示部に表示させ、操作者が選択した感性評価値に該当する生地の商品データを検索して検索結果を表示部に表示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された生地検索システムでは、操作者が感性評価値を選択する操作を行う必要があり、例えば操作者が感性評価値の意義を十分に把握していない場合、操作者が所望する生地を上手く見つけることができない虞がある。
【0005】
本発明は上記事由に鑑みてなされたものであり、所望する生地を容易に見つけることができる生地検索装置、生地検索システムおよび生地検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る生地検索装置は、
予め登録される複数種類の生地それぞれの画像を示す複数種類の登録生地画像情報を取得する登録生地画像取得部と、
発注者が発注した生地の画像を示す発注生地画像情報を取得する発注生地画像取得部と、
前記登録生地画像取得部にて取得された複数種類の登録生地画像情報、及び、前記発注生地画像情報の特徴量を算出する特徴量算出部と、
前記複数種類の登録生地画像情報それぞれの特徴量情報、及び、前記複数種類の登録生地画像情報それぞれを識別させる固有の生地識別情報に一対一で対応づけられる視覚および触覚を感性尺度として生地を評価した感性評価値を設定する評価値設定部と、
ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するニューラルネットワーク計算部と、
前記ニューラルネットワークの重み係数を決定する係数決定部と、
前記評価値設定部にて設定された感性評価値とその生地識別情報の対応関係に基づいて、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値から、前記発注生地画像情報に対する生地識別情報を特定する発注生地特定部と
を備え、
前記係数決定部は、前記評価値設定部にて設定された感性評価値と、前記ニューラルネットワーク計算部にて算出された前記発注生地画像情報に対する感性評価値の誤差を算出し、当該誤差に基づいて前記発注生地画像情報に対する感性評価値に近づくように前記ニューラルネットワークの重み係数を決定するものであり、
前記ニューラルネットワーク計算部は、前記係数決定部により前記重み係数が決定された前記ニューラルネットワークを用いて、前記特徴量算出部にて算出された前記発注生地画像情報の特徴量から前記発注生地画像情報に対する感性評価値を算出するものである。
【発明の効果】
【0007】
本発明によれば、ニューラルネットワーク計算部が、ニューラルネットワークを用いて、発注生地画像情報に対する評価値を求める。そして、発注生地特定部が、求められた発注生地画像情報に対する評価値から、発注者が発注した生地の画像に対応する生地識別情報を特定する。これにより、発注者が所望する生地の生地画像情報を選択するだけで、発注者が所望する生地を識別する生地識別情報を取得することができるので、発注者が所望する生地を容易に見つけることができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施の形態に係る生地検索システムの概略構成図である。
【
図2】実施の形態に係る生地検索システムのハードウェア構成を示すブロック図である。
【
図3】実施の形態に係る端末装置の機能ブロック図である。
【
図4】実施の形態に係る生地検索装置の機能ブロック図である。
【
図5】(A)は実施の形態に係る発注生地画像記憶部が記憶する情報の一例を示す図であり、(B)は実施の形態に係る生地識別情報記憶部が記憶する情報の一例を示す図である。
【
図6】実施の形態に係る特徴量記憶部が記憶する情報の一例を示す図である。
【
図7】実施の形態に係る生地検索装置で用いられるニューラルネットワークの説明図である。
【
図8】(A)は実施の形態に係る生地検索装置のニューラルネットワークの重み係数を決定する際の動作説明図であり、(B)は実施の形態に係る生地検索装置が評価値情報を出力する際の動作説明図である。
【
図9】実施の形態に係る生地検索システムの動作の一例を示すシーケンス図である。
【
図10】実施の形態に係る生地検索システムの動作の一例を示すシーケンス図である。
【
図11】実施の形態に係る生地検索装置が実行する生地検索処理の流れの一例を示すフローチャートである。
【
図12】実施の形態に係る生地検索装置が実行する係数決定処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態に係る生地検索システムついて、図面を参照しながら説明する。本実施の形態に係る生地検索装置は、発注者が発注した生地の画像を示す発注生地画像情報を取得する発注生地画像取得部と、発注生地画像情報の特徴量を算出する特徴量算出部と、特徴量から評価値を求めるためのニューラルネットワークを用いて、発注生地画像情報から評価値を求めるニューラルネットワーク計算部と、予め設定された評価値と生地識別情報との対応関係に基づいて、発注生地画像情報に対する評価値から、発注者が発注した生地の画像に対応する生地識別情報を特定する発注生地特定部と、を備える。
【0010】
図1に示すように、本実施の形態に係る生地検索システムは、生地検索装置1と、生地検索装置1とネットワークNW1を介して通信可能な端末装置2、3と、を備える。ネットワークNW1は、例えばインターネットである。また、ネットワークNW1には、生地、衣服等の画像を含むウェブ画像を管理するウェブ管理サーバ10が接続されている。端末装置2は、例えばアパレルメーカのような生地を購入する企業に属する利用者が所持する。また、端末装置3は、例えば生地メーカに属する利用者が保有する。
【0011】
端末装置2は、例えばスマートフォンであり、
図2に示すように、CPU(Central Processing Unit)201と、主記憶部202と、補助記憶部203と、表示部204と、入力部205と、広域通信部206と、各部を接続するバス209と、を備える第1端末装置である。主記憶部202は、RAM(Random Access Memory)のような揮発性メモリであり、CPU201の作業領域として使用される。補助記憶部203は、半導体フラッシュメモリのような不揮発性メモリであり、CPU201が各種処理を実行するためのプログラムを記憶する。表示部204は、例えば液晶ディスプレイのような表示装置であり、CPU201から入力された各種情報を表示する。入力部205は、例えば表示部204に重ねて配置される透明なタッチパッドであり、利用者の操作に応じた各種操作情報を受け付けて、受け付けた操作情報をCPU201へ出力する。広域通信部206は、ネットワークNW1に接続するためのインタフェースを有し、生地検索装置1との間でネットワークNW1を介して通信する。
【0012】
CPU201は、補助記憶部203が記憶するプログラムを主記憶部202に読み出して実行することにより、例えば
図3に示すように、受付部211、表示制御部212、生地画像取得部213および生地画像送信部214として機能する。また、
図2に示す補助記憶部203は、
図3に示すように、生地画像を示す生地画像情報を記憶する生地画像記憶部231と、表示部204に表示させる操作画面画像を構築するためのテンプレート画像等を示す画像情報を記憶する画像記憶部232と、を有する。受付部211は、利用者が入力部205に対して行った操作の操作内容を示す操作情報を受け付ける。表示制御部212は、画像記憶部232から、受付部211が受け付けた操作情報に応じた画像情報を取得し、取得した画像情報に対応する操作画面画像を表示部204に表示させる。また、表示制御部212は、生地画像取得部213がウェブ管理サーバ10から取得したホームページ画像情報が示すホーページ画像を表示部204に表示させる。生地画像取得部213は、ウェブ管理サーバ10から送信される生地画像情報を含むホームページ画像情報を取得し、取得したホームページ画像情報が示すホームページ画像の中から切り出された生地画像を示す生地画像情報を生地画像記憶部231に記憶させる。ここで、利用者が、表示部204に衣服、生地等を含むホームページ画像が表示された状態で、入力部205に対してホームページ画像に含まれる衣服、生地等の画像部分を選択する操作を行ったとする。この場合、受付部211は、ホームページ画像中における利用者が選択した画像部分の位置、形状、大きさ等を示す情報が含まれる操作情報を受け付ける。そして、生地画像取得部213は、ウェブ管理サーバ10から取得したホームページ画像情報の中から受付部211が受け付けた操作情報に基づいて、利用者により選択された衣服、生地等の画像部分を示す画像情報を生地画像情報として生成する。生地画像取得部213は、生成した生地画像情報を生地画像記憶部231に記憶させる。
【0013】
生地画像送信部214は、受付部211が受け付けた操作情報に応じて、発注したい生地の画像を示す発注生地画像情報に発注者の居所、注文番号等の情報を含む発注者情報を付加して生地検索装置1へ送信する。ここで、発注者は、前述の生地を購入する企業に属する利用者である。生地画像送信部214は、例えば発注者が端末装置2の入力部205に対して、生地画像記憶部231が記憶する生地画像情報の中から発注したい生地の生地画像を選択する操作を行うとともに、発注者の発注者情報を入力する操作を行うと、選択された生地画像情報を発注生地画像情報として生地検索装置1へ送信する。
【0014】
図2に戻って、端末装置3は、例えばパーソナルコンピュータであり、端末装置2と同様に、CPU301と、主記憶部302と、補助記憶部303と、表示部304と、入力部305と、広域通信部306と、各部を接続するバス309と、を備える第2端末装置である。主記憶部302は、CPU501の作業領域として使用される揮発性メモリである。補助記憶部303は、半導体フラッシュメモリのような不揮発性メモリであり、端末装置3の各種機能を実現するためのプログラムを記憶する。表示部304は、例えば液晶ディスプレイのような表示装置であり、入力部305は、例えばキーボードであり、利用者の操作に応じた各種操作情報を受け付けて、受け付けた操作情報をCPU301へ出力する。広域通信部306は、ネットワークNW1に接続するためのインタフェースを有する。
【0015】
CPU301は、補助記憶部303が記憶するプログラムを主記憶部302に読み出して実行することにより、例えば
図3に示すように、受付部311、表示制御部312、生地情報取得部313、登録生地画像送信部314および修正生地情報送信部315として機能する。また、
図2に示す補助記憶部303は、
図3に示すように、発注された生地を識別する生地識別情報を含む発注生地情報を記憶する発注生地情報記憶部331と、予め登録された複数種類の生地それぞれの画像を示す登録生地画像情報を記憶する登録生地画像記憶部332と、修正生地情報記憶部333と、画像記憶部334と、を有する。修正生地情報記憶部333は、後述する生地画像情報の特徴量に対する評価値の修正が必要とされる生地画像情報に対応する生地の生地識別情報を、発注者情報に対応づけて記憶する。画像記憶部334は、表示部304に表示させる操作画面画像を構築するためのテンプレート画像等を示す画像情報を記憶する。
【0016】
受付部311は、利用者が入力部305に対して行った操作の操作内容を示す操作情報を受け付ける。受付部311は、利用者が入力部305を介して登録しようとする複数種類の生地それぞれの生地画像情報を入力する操作を行うと、これに応じて、入力された複数種類の生地それぞれの生地画像情報を登録生地画像記憶部332に記憶させる。このとき、受付部311は、複数種類の生地それぞれの生地画像情報が登録生地画像記憶部332に記憶させたことを登録生地画像送信部314に通知する。また、受付部311は、利用者が入力部305を介して生地画像情報の特徴量に対する評価値の修正が必要とされる生地画像情報に対応する生地の生地識別情報を入力する操作を行うと、これに応じて、入力された生地識別情報を、発注者情報に対応づけて修正生地情報記憶部333に記憶させる。このとき、受付部311は、生地識別情報を修正生地情報記憶部333に記憶させたことを修正生地情報送信部315に通知する。
【0017】
表示制御部312は、画像記憶部334から、受付部311が受け付けた操作情報に応じた画像情報を取得し、取得した画像情報に対応する操作画面画像を表示部304に表示させる。生地情報取得部313は、生地検索装置1から発注生地情報を取得すると、取得した発注生地情報を発注生地情報記憶部331に記憶させる。このとき、表示制御部312は、生地情報取得部313が生地検索装置1から取得した発注生地情報を表示部304に表示させる。登録生地画像送信部314は、受付部311からの通知に応じて、登録生地画像記憶部332が記憶する複数種類の生地それぞれの生地画像情報を生地検索装置1へ送信する。修正生地情報送信部315は、受付部311からの通知に応じて、修正生地情報記憶部333が記憶する生地識別情報を含む修正生地情報を生地検索装置1へ送信する。
【0018】
図2に戻って、生地検索装置1は、サーバ用コンピュータであり、CPU101と、主記憶部102と、補助記憶部103と、広域通信部106と、これらを互いに接続するバス109と、を備える。CPU101は、例えばマルチコアプロセッサである。主記憶部102は、CPU101の作業領域として使用され、補助記憶部103は、CPU101が各種処理を実行するためのプログラムを記憶する。広域通信部106は、ネットワークNW1に接続するためのインタフェースを有する。
【0019】
CPU101は、補助記憶部103が記憶するプログラムを主記憶部102に読み出して実行することにより、
図4に示すように、発注生地画像取得部111、特徴量算出部112、発注生地特定部113、ニューラルネットワーク計算部114、発注生地情報送信部115、登録生地画像取得部116、係数決定部117、係数設定部118、修正生地情報取得部119および評価値設定部120として機能する。また、
図2に示す補助記憶部103は、
図4に示すように、発注生地画像記憶部131と、特徴量記憶部132と、生地識別情報記憶部133と、登録生地画像記憶部134と、ニューラルネットワーク記憶部135と、を有する。発注生地画像記憶部131は、例えば
図5(A)に示すように、発注者が端末装置2に入力した発注したい生地の生地画像を示す発注生地画像情報を、発注者の居所、注文番号等の情報を含む発注者情報に対応づけて記憶している。
【0020】
生地識別情報記憶部133は、例えば
図5(B)に示すように、ニューラルネットワーク計算部114により求められる評価値を示す評価値情報と、生地を識別する生地識別情報と、を互いに対応づけて記憶する。ここで、生地識別情報としては、複数種類の生地それぞれに付与された固有の識別番号、複数種類の生地それぞれの固有名称等が採用される。また、複数種類の生地識別情報それぞれに対応づけられた評価値は、互いに異なっており、1つの評価値と1つの生地識別情報とが一対一で対応づけられている。
【0021】
特徴量記憶部132は、例えば
図6に示すように、生地の特徴を表す複数種類の特徴量FV[0、j]、FV[1,j]・・・、FV[k,j]、・・・を要素とする特徴量ベクトルを示す特徴量情報を、予め設定された評価値を示す評価値情報に対応づけて記憶する。特徴量としては、例えば生地画像情報から導出されるSIFT(Scale-Invariant and Feature Transform)、SURF(Speed Up Robust Feature)、HOG(Histogram of Oriented Gradient)等の特徴量を採用することができる。
図4に戻って、登録生地画像記憶部134は、予め登録された複数種類の生地それぞれの生地画像を示す生地画像情報を、各生地を識別する生地識別情報に対応づけて記憶する。
【0022】
ニューラルネットワーク記憶部135は、ニューラルネットワーク計算部114が用いる予め定められたノード数および層数を有するニューラルネットワークに関する情報を記憶する。具体的には、ニューラルネットワーク記憶部135は、ニューラルネットワークのノード数、層数、各ノードに対応する重み係数および活性化関数それぞれを示す情報を記憶する。このニューラルネットワークは、発注者が所望する生地の評価値を求めるためのものである。このニューラルネットワークは、
図7に示すように入力層L10、隠れ層L20および出力層L30を有する。入力層L10は、動作履歴情報、環境実績情報および客室情報それぞれが示す数値を、隠れ層L20へ入力する。
【0023】
隠れ層L20は、予め設定された数M[j]のノードx[j,i](1≦i≦M[j]、M[j]は正の整数)を含むN(Nは正の整数)個の層から構成されている。即ち、隠れ層L20は、各ノード列同士が繋がれた構造を有する。ここで、各ノードx[j,i]の出力y[j,i]は、下記式(1)の関係式で表される。
【0024】
【0025】
ここで、W[j,i,k]は、重み係数を示し、f(*)は、活性化関数を示す。この重み係数W[j,i,k]が、前述のニューラルネットワークの構造を決めるニューラルネットワーク係数に相当する。また、活性化関数としては、シグモイド関数、ランプ関数、ステップ関数、ソフトマックス関数等の非線形関数が用いられる。隠れ層L20は、ノードに入力される情報が前の層の各ノードの出力にそれぞれに重み係数を乗じたものの総和となっている。そして、総和を引数とする活性化関数の出力が次の層へ伝達される。出力層L30は、隠れ層L20の最終層からの出力y[j,i]をそのまま出力する。 そして、ニューラルネットワーク記憶部135は、式(1)で表されるニューラルネットワークの構造を示す情報と、ニューラルネットワークの重み係数W[j,i,k]を示す情報と、を記憶する。また、ニューラルネットワーク記憶部135は、ニューラルネットワークの重み係数の初期値を示す初期重み係数情報を記憶する。
【0026】
図4に戻って、発注生地画像取得部111は、端末装置2から送信される発注生地画像情報を取得すると、取得した発注生地画像情報を、発注生地画像情報に付加された発注者情報に対応づけて発注生地画像記憶部131に記憶させる。特徴量算出部112は、発注生地画像取得部111が発注生地画像情報を取得すると、取得した発注生地画像情報を発注生地画像記憶部131から取得し、取得した発注生地画像情報の特徴量を算出し、算出した特徴量を示す特徴量情報を発注生地特定部113に通知する。また、特徴量算出部112は、登録生地画像取得部116が端末装置3から送信された複数種類の生地それぞれの登録生地画像情報を取得すると、取得した登録生地画像情報の特徴量を算出し、算出した特徴量を要素とする特徴量ベクトルを示す特徴量情報を特徴量記憶部132に記憶させる。ここで、特徴量算出部112は、例えばSIFTを特徴量として採用する場合、まず、登録生地画像情報が示す画像から特徴点の候補となる画素、即ち、輝度変化が最大となる画素の位置を検出し、検出した特徴点の候補となる画素の中から画像の相似変化に不変な画素を検出する。次に、特徴量算出部112は、検出した画素それぞれについて、その画素とその画素の周囲の画素との間における輝度勾配の局所パターンに基づいて複数種類の局所パターンのヒストグラムを生成することにより特徴量ベクトルを算出する。
【0027】
評価値設定部120は、登録生地画像記憶部134が記憶する複数種類の登録生地画像情報それぞれに対応する特徴量情報に対応する評価値を設定する。ここで、評価値設定部120は、複数種類の登録生地画像情報それぞれに対応する特徴量情報に対応する評価値が互いに異なる値となるように評価値を設定する。
【0028】
発注生地特定部113は、特徴量算出部112から発注生地画像情報に対応する特徴量情報が通知されると、通知された特徴量情報が示す特徴量に基づいてニューラルネットワーク計算部114により求められる評価値情報を取得する。そして、発注生地特定部113は、生地識別情報記憶部133が記憶する生地識別情報の中から、取得した評価値情報に対応する生地識別情報を特定する。発注生地特定部113は、特定した生地識別情報を発注生地情報送信部115に通知する。発注生地情報送信部115は、発注生地特定部113から通知された生地識別情報と、発注生地画像記憶部131が記憶する発注者情報と、を含む発注生地情報を端末装置3へ送信する。
【0029】
係数決定部117は、特徴量記憶部132が記憶する特徴量情報と評価値情報とに基づいて、前述の発注者が所望する生地の評価値を求めるためのニューラルネットワークの重み係数を決定する。係数設定部117は、まず、ニューラルネットワーク記憶部135から初期の重み係数を示す初期重み係数情報を取得し、取得した初期重み係数をニューラルネットワークの重み係数に設定する。次に、係数決定部117は、例えば
図8(A)に示すように、ニューラルネットワーク計算部114がニューラルネットワークを用いて算出した評価値情報を取得する。ここで、ニューラルネットワーク計算部114は、教師情報である特徴量情報FV[0,j]、・・・、FV[k、j]、・・・から、ニューラルネットワークを用いて評価値を算出する。続いて、係数決定部117は、特徴量記憶部132が記憶する教師情報である評価値情報SC[j]を取得し、取得した評価値情報SC[j]が示す評価値とニューラルネットワークを用いて算出された評価値との誤差を算出する。そして、係数決定部117は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を決定する。ここで、係数決定部117は、例えばオートエンコーダを用いて重み係数を決定する。そして、係数決定部115は、決定した重み係数を示す重み係数情報をニューラルネットワーク記憶部135に記憶させる。
【0030】
係数設定部118は、係数決定部117が決定した重み係数を、ニューラルネットワークの重み係数に設定する。ニューラルネットワーク計算部114は、係数決定部115により重み係数が決定されたニューラルネットワークを用いて、発注生地特定部113から通知される特徴量情報から、評価値を求める。ここでは、
図8(B)に示すように、係数設定部118が、ニューラルネットワーク記憶部135が記憶する係数決定部117により決定された重み係数を、ニューラルネットワーク計算部114が用いるニューラルネットワークの重み係数に設定する。そして、ニューラルネットワーク計算部114は、発注生地特定部113から通知される特徴量情報から、係数設定部118により重み係数が設定されたニューラルネットワークを用いて、評価値を算出し、算出した評価値を示す評価値情報SCを発注生地特定部113に出力する。
【0031】
次に、本実施の形態に係る生地検索システムの動作について
図9および
図10を参照しながら説明する。まず、
図9に示すように、生地メーカの利用者が、端末装置3の入力部305に対して複数種類の登録生地画像情報の入力操作を行うと、端末装置3は、入力された登録生地画像情報を受け付けて登録生地画像記憶部332に記憶させる(ステップS1)。次に、入力された複数種類の生地それぞれの登録生地画像情報が、端末装置3から生地検索装置1へ送信される(ステップS2)。一方、生地検索装置1は、登録生地画像情報を取得すると、取得した登録生地画像情報を登録生地画像記憶部134に記憶させる。そして、生地検索装置1は、登録生地画像記憶部134が記憶する複数種類の生地の登録生地画像情報それぞれに対応する特徴量を算出する(ステップS3)。ここで、生地検索装置1は、算出した特徴量を示す特徴量情報を特徴量記憶部132に記憶させる。続いて、生地検索装置1は、算出した特徴量を示す特徴量情報それぞれに対応する評価値を設定する(ステップS4)。ここで、生地検索装置1は、特徴量記憶部132が記憶する各特徴量情報それぞれに対応する評価値を示す評価値情報を特徴量記憶部132に記憶させる。その後、生地検索装置1は、特徴量記憶部132が記憶する特徴量情報および評価値情報に基づいて、ニューラルネットワークの重み係数を決定する係数決定処理を実行する(ステップS5)。生地検索装置1は、係数決定処理を実行することにより決定されたニューラルネットワークの重み係数を示す重み係数情報をニューラルネットワーク記憶部135に記憶させる。
【0032】
次に、生地を購入する利用者が、端末装置2の入力部205に対して生地を発注する操作を行ったとする。ここで、利用者は、前述のように端末装置2が表示部204に衣服、生地等の画像部分を含むホームページ画像を表示させた状態で、ホームページ画像に含まれる衣服、生地等の画像部分の中から、購入したい生地に対応する画像部分を選択し、選択した画像部分を示す発注生地画像情報と、発注者情報と、を入力する操作を行う。この場合、端末装置2は、発注操作を受け付ける(ステップS6)。そして、受け付けた発注生地画像情報が、端末装置2から生地検索装置1へ送信される(ステップS7)。一方、生地検索装置1は、発注生地画像情報を取得すると、取得した発注生地画像情報の特徴量を算出する(ステップS8)。続いて、生地検索装置1は、算出した特徴量を示す特徴量情報に基づいて、ニューラルネットワークを用いて、評価値を算出する(ステップS9)。その後、生地検索装置1は、生地識別情報記憶部133が記憶する生地識別情報の中から、算出した評価値に対応する生地識別情報を特定する(ステップS10)。次に、特定した生地識別情報と前述の発注者情報とを含む発注生地情報が、生地検索装置1から端末装置3へ送信される(ステップS11)。一方、端末装置3は、発注生地情報を取得すると、取得した発注生地情報を表示部304に表示させる(ステップS12)。そして、生地メーカの利用者は、端末装置3の表示部304に表示される発注生地情報を参照して、発注生地情報に含まれる生地識別情報で識別される生地を発注者に提供する。
【0033】
また、生地メーカの利用者が、発注者に提供した生地が発注者の所望する生地と異なり、端末装置3の入力部305に対してニューラルネットワークの重み係数を更新する重み係数更新操作を行ったとする。ここで、利用者は、発注者の所望する生地の生地識別情報と発注者情報とを入力する操作を行う。この場合、端末装置3は、利用者により入力された修正後の生地識別情報を受け付ける(ステップS13)。続いて、
図10に示すように、受け付けた生地識別情報と発注者情報とを含む修正生地情報が、端末装置3から生地検索装置1へ送信される(ステップS14)。一方、生地検索装置1は、発注生地画像記憶部131が記憶する発注生地画像情報から、発注生地画像情報に対応する特徴量を算出する(ステップS15)。その後、生地検索装置1は、生地識別情報記憶部133が記憶する評価値情報の中から、修正生地情報に含まれる生地識別情報に対応する評価値情報を特定する(ステップS16)。次に、生地検索装置1は、特徴量記憶部132が記憶する特徴量情報および評価値情報と、算出した特徴量を示す特徴量情報と、特定したこの特徴量情報に対応する評価値情報と、に基づいて、ニューラルネットワークの重み係数を決定する係数決定処理を実行する(ステップS17)。生地検索装置1は、係数決定処理を実行することにより決定された重み係数情報でニューラルネットワーク記憶部135が記憶する重み係数情報を更新する。
【0034】
次に、本実施の形態に係る生地検索装置1が実行する生地検索処理について
図11および
図12を参照しながら説明する。この生地検索処理は、例えば生地検索装置1へ電源が投入されたことを契機として開始される。まず、登録生地画像取得部116は、端末装置3から予め登録された複数種類の生地それぞれの登録生地画像情報を受信したか否かを判定する(ステップS101)。登録生地画像取得部116が登録生地画像情報を取得していないと判定すると(ステップS101:No)、後述するステップS106の処理が実行される。一方、登録生地画像取得部116は、登録生地画像情報を取得したと判定すると(ステップS101:Yes)、取得した登録生地画像情報とこれに付加された生地識別情報とを登録生地画像記憶部134に記憶させる(ステップS102)。
【0035】
次に、特徴量算出部112は、登録生地画像記憶部134が記憶する複数種類の生地の登録生地画像情報それぞれに対応する特徴量を算出する(ステップS103)。ここで、生地検索装置1は、算出した特徴量を示す特徴量情報を特徴量記憶部132に記憶させる。続いて、評価値設定部120は、算出した特徴量を示す特徴量情報それぞれに対応する評価値を設定する(ステップS104)。ここで、評価値設定部120は、特徴量記憶部132が記憶する各特徴量情報それぞれに対応する評価値を示す評価値情報を特徴量記憶部132に記憶させる。その後、係数決定部117は、特徴量記憶部132が記憶する特徴量情報および評価値情報に基づいて、ニューラルネットワークの重み係数を決定する係数決定処理を実行する(ステップS105)。
【0036】
ここで、係数決定処理の詳細について、
図12を参照しながら詳細に説明する。まず、ニューラルネットワーク計算部114は、特徴量記憶部132から特徴量情報および評価値情報を取得する(ステップS201)。次に、係数設定部118が、ニューラルネットワーク記憶部135から初期重み係数を示す初期重み係数情報または直近に用いられた重み係数を示す重み係数情報を取得し、取得した重み係数情報が示す重み係数を、ニューラルネットワークの重み係数に設定する(ステップS202)。続いて、ニューラルネットワーク計算部114は、係数設定部118により重み係数が設定されたニューラルネットワークを用いて、取得した特徴量情報から、予測評価値を算出する(ステップS203)。その後、係数決定部117は、算出された予測評価値と、取得した評価値情報が示す評価値と、の誤差を算出する(ステップS204)。次に、係数決定部117は、算出された誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を新たに決定する(ステップS205)。そして、係数決定部117は、決定した重み係数をニューラルネットワーク記憶部135に記憶させる(ステップS206)。
【0037】
図11に戻って、次に、発注生地画像取得部111は、端末装置2から発注生地画像情報を取得したか否かを判定する(ステップS106)。発注生地画像取得部111が、端末装置2から発注生地画像情報を取得していないと判定すると(ステップS106:No)、後述するステップS112の処理が実行される。一方、発注生地画像取得部111は、端末装置2から発注生地画像情報を取得したと判定すると(ステップS106:Yes)、取得した発注生地画像情報とこれに付加された発注者情報とを発注生地画像記憶部131に記憶させる(ステップS107)。続いて、特徴量算出部112は、発注生地画像記憶部131が記憶する発注生地画像情報の特徴量を算出する(ステップS108)。
【0038】
その後、ニューラルネットワーク計算部114は、係数設定部118により重み係数が設定されたニューラルネットワークを用いて、特徴量算出部112が算出した特徴量を示す特徴量情報から、評価値を求める(ステップS109)。このとき、ニューラルネットワーク計算部114は、算出した評価値を示す評価値情報を発注生地特定部113に通知する。次に、発注生地特定部113は、生地識別情報記憶部133が記憶する生地識別情報の中から、ニューラルネットワーク計算部114から通知される評価値情報に対応する生地識別情報を特定する(ステップS110)。ここで、発注生地特定部113は、特定した生地識別情報を発注生地情報送信部115に通知する。続いて、発注生地情報送信部115は、発注生地特定部113から通知される生地識別情報と、発注生地画像記憶部131が記憶する通知された生地識別情報に対応する発注者情報と、を含む発注生地情報を生成して端末装置3へ送信する(ステップS111)。
【0039】
その後、修正生地情報取得部119は、生地識別情報と発注者情報とを含む修正生地情報を端末装置3から取得したか否かを判定する(ステップS112)。修正生地情報取得部119が、修正生地情報を取得していないと判定すると(ステップS112:No)、再びステップS101の処理が実行される。一方、修正生地情報取得部119は、修正生地情報を取得したと判定すると(ステップS112:Yes)、発注生地画像記憶部131が記憶する、取得した修正生地情報に対応する発注生地画像情報の特徴量を算出する(ステップS113)。次に、係数決定部117は、生地識別情報記憶部133が記憶する評価値情報の中から、修正生地情報に含まれる生地識別情報に対応する評価値情報を特定する(ステップS114)。続いて、係数決定部117は、特徴量記憶部132が記憶する特徴量情報および評価値情報と、算出した特徴量を示す特徴量情報と、特定したこの特徴量情報に対応する評価値情報と、に基づいて、ニューラルネットワークの重み係数を決定する係数決定処理を実行する(ステップS115)。ここで、係数決定部117は、係数決定処理を実行することにより決定された重み係数情報でニューラルネットワーク記憶部135が記憶する重み係数情報を更新する。その後、再びステップS101の処理が実行される。
【0040】
以上説明したように、本実施の形態に係る生地検索装置1によれば、ニューラルネットワーク計算部114が、係数決定部117により重み係数が決定されたニューラルネットワークを用いて、発注生地画像情報に対する評価値を求める。そして、発注生地特定部113が、求められた発注生地画像情報に対する評価値から、発注者が発注した生地の画像に対応する生地識別情報を特定する。これにより、発注者が所望する生地の生地画像情報を選択するだけで、発注者が所望する生地を識別する生地識別情報を取得することができるので、発注者が所望する生地を容易に見つけることができる。
【0041】
また、本実施の形態に係る修正生地情報取得部119は、発注生地画像情報の特徴量からニューラルネットワークを用いて求められた評価値に対応する生地識別情報を、当該生地識別情報で識別される生地とは異なる他の生地を識別する生地識別情報となるように修正するための修正生地情報を取得する。そして、係数決定部117が、発注生地画像情報の特徴量を示す特徴量情報と修正生地情報に含まれる生地識別情報に対応する評価値を示す評価値情報とに基づいて、重み係数情報を更新する。これにより、発注生地画像情報の特徴量からニューラルネットワークを用いて求められる生地識別情報と、発注者が所望する生地を識別する生地識別情報と、のずれの発生頻度を低減することができるので、生地の検索精度を向上させることができる。
【0042】
以上、本発明の実施の形態について説明したが、本発明は前述の実施の形態によって限定されるものではない。例えば、発注生地画像情報は、生地の静止画像を示すものに限定されるものではなく、生地を予め設定された時間の間撮像して得られる動画画像を示すものであってもよい。
【0043】
実施の形態において、端末装置2が、例えばVR(Virtual Reality)ゴーグルであり、利用者に生地の三次元画像を提供するものであってもよい。
【0044】
また、本発明に係る生地検索装置1の各種機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現されてもよい。この場合、ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)およびMO(Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をOS(Operating System)とアプリケーションとの分担、またはOSとアプリケーションとの協同により実現する場合等には、OS以外の部分のみを記録媒体に格納してもよい。
【0045】
さらに、搬送波に各プログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板(BBS,Bulletin Board System)に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前述の処理を実行できるように構成してもよい。
【産業上の利用可能性】
【0046】
本発明は、生地を検索するシステムに好適である。
【符号の説明】
【0047】
1:生地検索装置、2,3:端末装置、10:ウェブ管理サーバ、101,201,301:CPU、102,202,302:主記憶部、103,203,303:補助記憶部、106 広域通信部、109,209,309 バス、111:発注生地画像取得部、112:特徴量算出部、113:発注生地特定部、114:ニューラルネットワーク計算部、115:発注生地情報送信部、116:登録生地画像取得部、117:係数決定部、118:係数設定部、119:修正生地情報取得部、120:評価値設定部、131:発注生地画像記憶部、132:特徴量記憶部、133:生地識別情報記憶部、134:登録生地画像記憶部、135:ニューラルネットワーク記憶部、204,304:表示部、205,305:入力部、206,306:通信部、211,311:受付部、212,312:表示制御部、213:生地画像取得部、214:生地画像送信部、231:生地画像記憶部、232,334:画像記憶部、313:生地画像取得部、314:登録生地画像送信部、315:修正生地情報送信部、331:発注生地情報記憶部、332:登録生地画像記憶部、333:修正生地情報記憶部、NW1:ネットワーク