特許 7594066 情報出力システムおよび情報出力システムの制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】情報出力システムおよび情報出力システムの制御プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20241126BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 8

(21)【出願番号】P 2023150356

(22)【出願日】2023-09-15

【審査請求日】2024-04-12

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和４年１０月１８日に、″２０２２ ＩＥＥＥ １１ｔｈ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ（ＧＣＣＥ ２０２２）″のＡｂｓｔｒａｃｔ Ｂｏｏｋにて、″Ｗａｌｌｐａｐｅｒ Ｄａｔａｓｅｔ ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ″に関する研究を公開 〔刊行物等〕 令和４年１０月１９日に、″２０２２ ＩＥＥＥ １１ｔｈ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ（ＧＣＣＥ ２０２２）″という国際会議にて、″Ｗａｌｌｐａｐｅｒ Ｄａｔａｓｅｔ ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ″に関する研究を公開

【早期審査対象出願】

(73)【特許権者】

【識別番号】521510648

【氏名又は名称】コマツ株式会社

(73)【特許権者】

【識別番号】503027931

【氏名又は名称】学校法人同志社

(74)【代理人】

【識別番号】100110788

【弁理士】

【氏名又は名称】椿 豊

(74)【代理人】

【識別番号】100124589

【弁理士】

【氏名又は名称】石川 竜郎

(72)【発明者】

【氏名】奥田 正浩

(72)【発明者】

【氏名】豊永 晴斗

(72)【発明者】

【氏名】小松 智

【審査官】▲高▼瀬 健太郎

(56)【参考文献】

【文献】特開２０１７－１０７４４３（ＪＰ，Ａ）

【文献】特開２０２１－１４０４４５（ＪＰ，Ａ）

【文献】特開２０２１－１２８３８８（ＪＰ，Ａ）

【文献】特開２００２－２１６１３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ －９９／００

(57)【特許請求の範囲】

【請求項1】

建築材料を特定する情報を出力する情報出力システムであって、
画像を取得する画像取得部と、
前記画像取得部にて取得した画像を入力として、機械学習により生成された学習済みモデルを用いて、前記画像取得部にて取得した画像に関連する建築材料を特定する情報を出力する出力部とを備え、
前記建築材料を特定する情報は、建築材料の製品を特定する情報、建築材料の購入方法、および建築材料を販売するウェブサイトのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のうち少なくともいずれか１つを含む、情報出力システム。

【請求項2】

前記学習済みモデルは、一の建築材料に関する互いに異なる複数のサンプル画像の各々を問題データとし、前記一の建築材料を特定する情報を正解データとした、教師あり学習により構築されたものである、請求項１に記載の情報出力システム。

【請求項3】

前記一の建築材料に関する前記複数のサンプル画像は、第１の光を前記一の建築材料に照射した状態で前記一の建築材料を撮影した画像である第１の照明画像と、前記第１の光の色温度とは異なる色温度を有する第２の光を前記一の建築材料に照射した状態で前記一の建築材料を撮影した画像である第２の照明画像とを含む、請求項２に記載の情報出力システム。

【請求項4】

前記一の建築材料に関する前記複数のサンプル画像は、前記一の建築材料を撮影した画像における第１の部分を切り出すことで得られた第１の切出画像と、前記一の建築材料を撮影した画像における前記第１の部分とは異なる部分である第２の部分を切り出すことで得られた第２の切出画像とを含む、請求項３に記載の情報出力システム。

【請求項5】

前記一の建築材料を撮影した画像に占める前記第１の切出画像の割合は、前記一の建築材料を撮影した画像に占める前記第２の切出画像の割合よりも大きく、かつ前記第１の切出画像の画素数は、前記第２の切出画像の画素数と同じである、請求項４に記載の情報出力システム。

【請求項6】

前記学習済みモデルはニューラルネットワークを含む、請求項１に記載の情報出力システム。

【請求項7】

前記情報出力システムは、撮影装置をさらに備え、
前記撮影装置は、
画像を撮影する撮影部と、
前記撮影部にて撮影した画像を前記画像取得部に送信する送信部と、
前記出力部にて出力した情報を受信する受信部とを含む、請求項１に記載の情報出力システム。

【請求項8】

建築材料を特定する情報を出力する情報出力システムの制御プログラムであって、
画像を取得する画像取得ステップと、
前記画像取得ステップにて取得した画像を入力として、機械学習により生成された学習済みモデルを用いて、前記画像取得ステップにて取得した画像に関連する建築材料を特定する情報を出力する出力ステップとをコンピューターに実行させるものであり、
前記建築材料を特定する情報は、建築材料の製品を特定する情報、建築材料の購入方法、および建築材料を販売するウェブサイトのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のうち少なくともいずれか１つを含む、情報出力システムの制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報出力システムおよび情報出力システムの制御プログラムに関する。より特定的には、本発明は、建築材料を特定する情報を出力する情報出力システムおよび情報出力システムの制御プログラムに関する。

【背景技術】

【0002】

建築材料には、壁紙、絨毯、フロアシート、タイル、石材、カーテン、および化粧フィルムなどが含まれる。従来の建築材料の発注方法は、次の通りであった。建築材料のメーカーは、多岐にわたる製品の写真が掲載されたカタログを提供している。建築材料を用いた施工の施工主などの建築材料の購入者は、これらのカタログに掲載された多数の製品の写真の中から、実際にその製品を使用した状態を頭の中に浮かべながら、所望の製品を選択する。購入者は、製品を特定する情報（製品番号など）を、建築会社の社員や建築材料の販売業者の仲介の下でメーカーに伝えることで、その製品を発注する。

【0003】

しかし、従来の建築材料の発注方法では、購入者は、カタログに掲載された膨大な製品の中から製品を選択しなければならず、利便性が低かった。また、カタログに掲載された写真と実際の製品との間には乖離があるため、実際の製品が想像したものと違ったという不満を購入者が持つことが多く、利便性が低かった。さらに、購入者が正式の発注の前に製品のサンプルを取り寄せた場合には、製品のサンプルが購入者の元に届くまでに時間を要し、利便性が低かった。

【0004】

なお、下記特許文献１などには、オンラインによる建材の受発注システムが開示されている。このシステムは、電話回線、インターネット等の通信手段を介して行う建材の受発注システムである。このシステムでは、発注者側端末の表示画面に発注メニュー欄、見積メニュー欄、伝票管理メニュー欄などが設けられる。このシステムでは、発注に際して発注メニュー欄の発注枠が選択された場合に、さらに詳細な項目枠を表示する。そして、これらの項目枠に商品コード、又は商品の色、木目、サイズ、加工条件、使用条件、発注数、希望納品日などの発注情報が入力される。このシステムでは、受注者側のコンピューター処理により発注情報に対応する受注可能の可否、納期、価格等が発注者側端末に表示される。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００２－２６９１７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、購入者はしばしば、外出先の建造物などで実際に使用されている建築材料を偶然気に入り、その建築材料の購入を希望することがある。実際に見て気に入った建築材料と同じものを購入者が容易に購入できるのであれば、上述の従来の建築材料の発注方法における利便性の低さを解消することができる。

【0007】

しかし、多くの場合、購入者、建築会社、または建築材料の販売業者などが必要な建築材料を特定することは困難であった。これは、施工済の建築材料には、その建築材料を特定する情報が表示されていないためである。たとえば壁紙の場合、壁への貼付面である裏面に製品番号が表示されており、表面からは見えない。加えて、建築材料については、全体の明度、ならびに模様の色、凹凸の段差の大きさ、および形状などがわずかに異なる多数の製品が市場に存在しているため、類似した多数の製品同士を目視にて見分けることは容易ではない。

【0008】

したがって、購入者、建築会社、または建築材料の販売業者などは、カタログに掲載された膨大な製品の中から、必要な建築材料を目視にて探す必要があった。またその結果、必要な製品を発見できないことも多かった。一般的に、建築材料のカタログは、２年に１回程度の短い周期で新しいバージョンのものに切り替わり、新しいバージョンのカタログでは、古いバージョンのカタログに掲載されている製品の２～４割のものが廃番になる傾向にある。このような状況で、必要な建築材料が最新版のカタログに掲載されていない可能性が高いことも、必要な製品を発見できない理由の一つであった。

【0009】

購入者、建築会社、または建築材料の販売業者などは必要な製品を探すことに多大な労力を要し、利便性は依然として低かった。

【0010】

図１４は、壁紙の市場に存在する４つの互いに異なる製品の写真を示す図である。

【0011】

建築材料の一例である壁紙についても、全体の明度、ならびに模様の色、凹凸の段差の大きさ、および形状などがわずかに異なる多数の製品が市場に存在している。図１４（ａ）～図１４（ｄ）の各々には、壁紙の市場に存在する４つの互いに異なる製品の各々が示されている。しかし、これらを目視にて見分けることは容易ではない。

【0012】

本発明は、上記課題を解決するためのものであり、その目的は、利便性を向上することのできる情報出力システムおよび情報出力システムの制御プログラムを提供することである。

【課題を解決するための手段】

【0013】

本発明の一の局面に従う情報出力システムは、建築材料を特定する情報を出力する情報出力システムであって、画像を取得する画像取得部と、画像取得部にて取得した画像を入力として、機械学習により生成された学習済みモデルを用いて、画像取得部にて取得した画像に関連する建築材料を特定する情報を出力する出力部とを備え、建築材料を特定する情報は、建築材料の製品を特定する情報、建築材料の購入方法、および建築材料を販売するウェブサイトのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のうち少なくともいずれか１つを含む。

【0014】

上記情報出力システムにおいて好ましくは、学習済みモデルは、一の建築材料に関する互いに異なる複数のサンプル画像の各々を問題データとし、一の建築材料を特定する情報を正解データとした、教師あり学習により構築されたものである。

【0015】

上記情報出力システムにおいて好ましくは、一の建築材料に関する複数のサンプル画像は、第１の光を一の建築材料に照射した状態で一の建築材料を撮影した画像である第１の照明画像と、第１の光の色温度とは異なる色温度を有する第２の光を一の建築材料に照射した状態で一の建築材料を撮影した画像である第２の照明画像とを含む。

【0016】

上記情報出力システムにおいて好ましくは、一の建築材料に関する複数のサンプル画像は、一の建築材料を撮影した画像における第１の部分を切り出すことで得られた第１の切出画像と、一の建築材料を撮影した画像における第１の部分とは異なる部分である第２の部分を切り出すことで得られた第２の切出画像とを含む。

【0017】

上記情報出力システムにおいて好ましくは、一の建築材料を撮影した画像に占める第１の切出画像の割合は、一の建築材料を撮影した画像に占める第２の切出画像の割合よりも大きく、かつ第１の切出画像の画素数は、第２の切出画像の画素数と同じである。

【0019】

上記情報出力システムにおいて好ましくは、学習済みモデルはニューラルネットワークを含む。

【0020】

上記情報出力システムにおいて好ましくは、情報出力システムは、撮影装置をさらに備え、撮影装置は、画像を撮影する撮影部と、撮影部にて撮影した画像を画像取得部に送信する送信部と、出力部にて出力した情報を受信する受信部とを含む。

【0021】

本発明の他の局面に従う情報出力システムの制御プログラムは、壁紙である建築材料を特定する情報を出力する情報出力システムの制御プログラムであって、画像を取得する画像取得ステップと、画像取得ステップにて取得した画像を入力として、機械学習により生成された学習済みモデルを用いて、画像取得部にて取得した画像に関連する建築材料を特定する情報を出力する出力ステップとをコンピューターに実行させるものであり、建築材料を特定する情報は、建築材料の製品を特定する情報、建築材料の購入方法、および建築材料を販売するウェブサイトのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のうち少なくともいずれか１つを含む。

【発明の効果】

【0022】

本発明によれば、利便性を向上することのできる情報出力システムおよび情報出力システムの制御プログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施の形態における情報出力システム１の構成を概念的に示す図である。

【図2】本発明の一実施の形態における情報出力システム１の機能的構成を示すブロック図である。

【図3】本発明の一実施の形態におけるモデル１２１および２２１の各々のニューラルネットワーク５００を模式的に示す図である。

【図4】本発明の一実施の形態における情報出力システム１の動作を説明するフローチャートである。

【図5】本発明の一実施の形態において、携帯端末３００の操作表示部３０３に表示される操作画面を示す第１の図である。

【図6】本発明の一実施の形態において、携帯端末３００の操作表示部３０３に表示される操作画面を示す第２の図である。

【図7】本発明の一実施の形態において、携帯端末３００の操作表示部３０３に表示される操作画面を示す第３の図である。

【図8】本発明の一実施の形態において、携帯端末３００の操作表示部３０３に表示される操作画面を示す第４の図である。

【図9】建築材料６０１の構造を示す図である。

【図10】本発明の一実施の形態における、建築材料６０１についてのサンプル画像ＩＭ１～ＩＭ３の作成方法を説明する図である。

【図11】本発明の一実施の形態におけるサンプル画像ＩＭ１を用いた学習データの増補方法を説明する図である。

【図12】増補された後の建築材料６０１に関する学習データＤＳを示す図である。

【図13】本発明の一実施の形態におけるモデル２２１の学習に関する情報出力システム１の動作を示すフローチャートである。

【図14】壁紙の市場に存在する４つの互いに異なる製品の写真を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の一実施の形態について、図面に基づいて説明する。

【0025】

［情報出力システムの構成および動作］

【0026】

図１は、本発明の一実施の形態における情報出力システム１の構成を概念的に示す図である。

【0027】

図１を参照して、本実施の形態における情報出力システム１（情報出力システムの一例）は、建築材料を特定する情報を出力する情報出力システムである。対象となる建築材料は任意の種類のものであればよく、壁紙、絨毯、フロアシート、タイル、石材、カーテン、または化粧フィルムなどである。情報出力システム１は、情報出力装置１００と、学習装置２００と、複数の携帯端末３００（撮影装置の一例）とを備えている。情報出力装置１００と、学習装置２００と、複数の携帯端末３００とは、インターネット４００を通じて相互に接続されており、相互に通信を行う。情報出力装置１００、学習装置２００、および複数の携帯端末３００の各々は、コンピューターであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、およびネットワークインターフェースなどにより構成されている。

【0028】

なお、情報出力装置１００および学習装置２００は、１つの装置よりなっていてもよい。この場合、モデル１２１および２２１は同一のものであってもよい。

【0029】

図２は、本発明の一実施の形態における情報出力システム１の機能的構成を示すブロック図である。情報出力システム１の各機能は、情報出力装置１００、学習装置２００、および携帯端末３００の各々のＲＯＭに記憶されたプログラムを、情報出力装置１００、学習装置２００、および携帯端末３００の各々のＣＰＵが実行することにより実現されてもよい。

【0030】

図２を参照して、情報出力装置１００は、建築材料を特定する情報を出力する。情報出力装置１００は、画像取得部１０１（画像取得部の一例）と、出力部１０２（出力部の一例）と、送受信部１０３と、操作表示部１０４と、記憶部１０５とを含んでいる。

【0031】

画像取得部１０１は、携帯端末３００などから分析対象となる建築材料の画像を取得する。

【0032】

出力部１０２は、画像取得部１０１にて取得した画像を入力として、モデル１２１を用いて、画像取得部１０１にて取得した画像に関連する建築材料を特定する情報を出力する。

【0033】

送受信部１０３は、学習装置２００および携帯端末３００の各々との間でデータの送受信を行う。

【0034】

操作表示部１０４は、各種操作を受け付け、各種情報を表示する。

【0035】

記憶部１０５は、モデル１２１（学習済みモデルの一例）などの各種情報を記憶する。

【0036】

モデル１２１は、入力された画像の内容を分析し、分析結果として建築材料を特定する情報を出力する。モデル１２１は、機械学習により生成された学習済みモデルである。本実施の形態では、モデル１２１は、教師あり学習により生成されたものであり、ニューラルネットワークとパラメーターとを含む。モデル１２１は、マスターである学習装置２００のモデル２２１と同一の内容となるように、必要なタイミングでモデル２２１と同期される。

【0037】

学習装置２００は、学習モデルの学習を行う。学習装置２００は、学習データ取得部２０１と、学習データ増補部２０２と、学習部２０３と、送受信部２０４と、記憶部２０５とを含んでいる。

【0038】

学習データ取得部２０１は、モデル２２１の学習に使用するデータを取得する。学習データ取得部２０１は、インターネット４００を通じて図示しないデータサーバーなどからデータを取得してもよいし、学習装置２００に接続可能な外部記憶媒体などからデータを取得してもよい。

【0039】

学習データ増補部２０２は、モデル２２１の学習に使用するデータを増補する。学習データ増補部２０２は、学習データ取得部２０１にて取得したデータに対して、サイズ変換、トリミング、または反転などの加工を施すことにより、増補するデータを作成する。

【0040】

学習部２０３は、モデル２２１に対する学習を行う。

【0041】

送受信部２０４は、情報出力装置１００との間でデータの送受信を行う。

【0042】

記憶部２０５は、モデル２２１などの各種情報を記憶する。

【0043】

なお、記憶部２０５は、学習データ２２２をさらに記憶していてもよい。学習データ２２２は、モデル２２１の学習に使用するデータであり、学習データ取得部２０１にて取得したデータおよび学習データ増補部２０２にて増補したデータを含んでいる。

【0044】

複数の携帯端末３００の各々は、複数のユーザーの各々によって所持されている。ユーザーは、建築材料を用いた施工の施工主などの建築材料の購入者、建築会社の社員、または建築材料の販売業者などである。複数の携帯端末３００の各々は、ほぼ同一の構成を有しおり、撮影部３０１（撮影部の一例）と、送受信部３０２（送信部および受信部の一例）と、操作表示部３０３と、記憶部３０４とを含んでいる。

【0045】

撮影部３０１は、建築材料などの各種画像を撮影する。

【0046】

送受信部３０２は、情報出力装置１００との間でデータの送受信を行う。送受信部３０２は、撮影部３０１にて撮影した画像を情報出力装置１００の画像取得部１０１に送信し、情報出力装置１００の出力部１０２にて出力した情報を受信する。

【0047】

操作表示部３０３は、各種操作を受け付け、各種情報を表示する。

【0048】

記憶部３０４は、アプリ３２１などの各種情報を記憶する。アプリ３２１は、情報出力システム１が提供するサービスを携帯端末３００のユーザーが利用する際に必要となるプログラムなどを含むアプリケーションである。

【0049】

次に、モデル１２１および２２１の各々のニューラルネットワークについて説明する。

【0050】

図３は、本発明の一実施の形態におけるモデル１２１および２２１の各々のニューラルネットワーク５００を模式的に示す図である。

【0051】

図３を参照して、モデル１２１および２２１の各々のニューラルネットワーク５００は、いわゆる階層型ニューラルネットワークであり、多数の人工ニューロン（図３中円形で示されるもの）が階層を形成しつつ連結されている。階層型ニューラルネットワークは、入力用の人工ニューロン、処理用の人工ニューロン及び出力用の人工ニューロンを備える。ニューラルネットワーク５００は、「Ｅｆｆｉｃｉｅｎｔ Ｎｅｔ」などの畳み込みニューラルネットワークであることが好ましい。

【0052】

問題データ５１０は、ニューラルネットワーク５００の処理対象である。問題データ５１０は、入力層５０１における入力用の人工ニューロンで取得される。入力用の人工ニューロンは、並列配置されることで入力層５０１を構成している。問題データ５１０は、処理用の人工ニューロンへ分配される。

【0053】

処理用の人工ニューロンは、入力用の人工ニューロンに接続される。処理用の人工ニューロンは、並列配置されることで中間層５０２を構成している。中間層５０２は、複数の層であってもよい。なお、中間層５０２を備えた３階層以上のニューラルネットワークをディープニューラルネットワークという。

【0054】

ニューラルネットワークは、いわゆる畳み込みニューラルネットワークであってもよい。畳み込みニューラルネットワークは、畳み込み層とプーリング層とが交互に連結されて構成されるディープニューラルネットワークである。畳み込み層とプーリング層とで順次処理が行われることにより、問題データ５１０の画像はエッジなどの特徴を保持しつつ縮小される。畳み込みニューラルネットワークを画像解析に応用した場合、この抽出された特徴に基づいて画像の分類を高精度に行うことができる。

【0055】

出力用の人工ニューロンは、正解データ５１１を外部へ出力する。出力用の人工ニューロンは、出力層５０３を構成している。学習部２０３は、問題データ５１０を入力した場合に正解データ５１１が出力されるように、ニューラルネットワーク５００の学習を行う（具体的には、モデル２２１のパラメーターを調整する）。

【0056】

図４は、本発明の一実施の形態における情報出力システム１の動作を説明するフローチャートである。

【0057】

図４を参照して、携帯端末３００は、建築材料を撮影し（Ｓ１）、撮影した画像を情報出力装置１００に送信する（Ｓ３）。ステップＳ１においては、建築材料から所定の距離（たとえば２０ｃｍ～４０ｃｍ）だけ離れた位置で、建築材料が撮影されることが好ましい。

【0058】

情報出力装置１００は、携帯端末３００から画像を取得（受信）すると（Ｓ５）、取得した画像を入力として、モデル１２１を用いて、取得した画像に関連する建築材料を特定する情報を携帯端末３００に出力（送信）する（Ｓ９）。ステップＳ９において、情報出力装置１００は、可能性のある複数の建築材料の各々を特定する情報を出力してもよい。この場合、情報出力装置１００は、特定した複数の建築材料の各々についての、可能性が高い順序や正確である確率などを合わせて出力してもよい。

【0059】

携帯端末３００は、情報出力装置１００から情報を受信すると（Ｓ１１）、受信した情報を表示し（Ｓ１３）、処理を終了する。

【0060】

情報出力装置１００は、携帯端末３００から画像を取得する代わりに、インターネット４００を通じて図示しない外部端末などから画像を取得してもよいし、情報出力装置１００に接続可能な外部記憶媒体やデジタルカメラなどから画像を取得してもよい。情報出力装置１００は、取得した画像に関連する建築材料を特定する情報を、携帯端末３００に送信する代わりに、インターネット４００を通じて図示しない外部端末などに送信してもよいし、自機の操作表示部１０４に出力（表示）してもよい。

【0061】

［携帯端末での表示および操作］

【0062】

次に、携帯端末３００での表示および操作について説明する。

【0063】

図５～図８は、本発明の一実施の形態において、携帯端末３００の操作表示部３０３に表示される操作画面を示す図である。

【0064】

図５を参照して、ユーザーによってアプリ３２１（図１）が起動されると、携帯端末３００は、メッセージＭ１と、カメラのモニターＭ２と、キーＫＹ１とを含む操作画面を操作表示部３０３に表示する。メッセージＭ１は、建築材料から所定の距離（たとえば２０ｃｍ～４０ｃｍ）だけ離れた位置で撮影することを指示するメッセージである。キーＫＹ１は撮影する際に押下されるキーである。

【0065】

ユーザーは、建築材料から所定の距離だけ離れた位置で、分析対象となる建築材料に携帯端末３００のカメラを向ける。ユーザーは、モニターＭ２で建築材料の画像を確認し、キーＫＹ１を押下する。

【0066】

図６を参照して、携帯端末３００は、キーＫＹ１が押下されると、メッセージＭ３と、画像Ｍ４と、キーＫＹ２およびＫＹ３とを含む操作画面を操作表示部３０３に表示する。メッセージＭ３は、撮影した画像を情報出力装置１００に送信するか否かを問い合わせるメッセージである。画像Ｍ４は、キーＫＹ１の押下により撮影された画像である。キーＫＹ２は、送信する際に押下されるキーである。キーＫＹ３は、送信をキャンセルする際に押下されるキーである。

【0067】

ユーザーは、画像Ｍ４を確認し、キーＫＹ２またはＫＹ３を押下する。キーＫＹ２が押下された場合、撮影された画像を携帯端末３００は情報出力装置１００に送信し、図７に示す操作画面を操作表示部３０３に表示する。キーＫＹ３が押下された場合、携帯端末３００は図５に示す操作画面を操作表示部３０３に表示する。

【0068】

図７を参照して、携帯端末３００は、キーＫＹ２が押下されると、画像を送信した旨および情報出力装置１００にて画像を解析中である旨のメッセージＭ５を含む操作画面を操作表示部３０３に表示する。建築材料を特定する情報を情報出力装置１００から受信するまで、携帯端末３００は、図７に示す操作画面を表示し続ける。

【0069】

図８を参照して、建築材料を特定する情報を情報出力装置１００から受信すると、携帯端末３００は、建築材料を特定した旨のメッセージＭ６と、建築材料を特定する情報Ｍ７と、キーＫＹ４とを含む操作画面を操作表示部３０３に表示する。

【0070】

図８に示す操作画面では、建築材料を特定する情報Ｍ７として、可能性が高い順序に複数（ここでは３つ）の建築材料を特定する情報の各々が、可能性の高い順序で上から下に向かって並べて表示されている。それぞれの建築材料を特定する情報は、建築材料の製品番号、建築材料の製造者、および建築材料を購入可能なウェブサイトのアドレスなどを含んでいる。キーＫＹ４が押下されると、携帯端末３００は図５に示す操作画面を操作表示部３０３に表示する。

【0071】

［撮影した画像における建築材料の見え方］

【0072】

次に、撮影した画像における建築材料の見え方について説明する。以降の説明では、分析対象となる建築材料が壁紙である場合について説明する。

【0073】

図９は、建築材料６０１の構造を示す図である。図９（ａ）は平面図であり、図９（ｂ）は図９（ａ）中ＩＸＢ－ＩＸＢ線に沿う断面図であり、建築材料６０１における模様の列６１１の断面図である。図９（ｃ）は図９（ａ）中ＩＸＣ－ＩＸＣ線に沿う断面図であり、建築材料６０１における模様の列６１２の断面図である。列６１２と列６１１とは互いに隣接しており、上下方向に交互に配置されている。

【0074】

図９を参照して、建築材料の模様の種類に関わらず、建築材料の表面には一般的に凹凸が存在し、この凹凸に起因する影が生じる。建築材料６０１は、建築材料の一例であり、市松模様を有している。市松模様を構成する互いに隣接する２つの四角形のうち、一方は凸部６１３を構成しており、他方は凹部６１４を構成している。凸部６１３の周囲の一部には、凹凸に起因する影が生じる。したがって、影が生じる位置は、建築材料６０１に光を照射する照明の位置に依存する。影の長さおよび濃さは、照明の光の強さおよび凹凸の段差の程度などに依存する。

【0075】

また、建築材料６０１の表面の色は、照明の光の色温度に依存する。たとえば、照明の光がいわゆる「電球色」である場合、建築材料６０１の表面は暖色系の色味になる。照明の光がいわゆる「昼白色」である場合、建築材料６０１の表面は自然の状態に近い色味になる。照明の光がいわゆる「昼光色」である場合、建築材料６０１の表面は寒色系の色味になる。

【0076】

また、建築材料６０１までの距離が近い場合には、建築材料６０１凹凸や影などが明確に見えるが、建築材料までの距離が近い場合には凹凸や影などが見えにくくなる。

【0077】

さらに、撮影したカメラの性能や、建築材料における撮影される部分によって、撮影した画像における建築材料の見え方は変化する。

【0078】

したがって、一の建築材料であっても、照明の位置、照明の光の強さ、凹凸の段差の程度、照明の光の色温度、建築材料までの距離、カメラの性能、建築材料における撮影される部分などの種々の条件によって、撮影した画像における建築材料の見え方は変化する。このような種々の条件による見え方の変化は、壁紙のみならず、建築材料全般において生じ得る。

【0079】

［学習部によるモデルの学習方法］

【0080】

上述のように、種々の条件によって、撮影した画像における建築材料の見え方は変化する。撮影した画像における建築材料の見え方の変化は、情報出力システムが出力する建築材料を特定する情報の精度を低下させる。

【0081】

そこで学習部２０３は、一の建築材料に関する互いに異なる複数のサンプル画像の各々を問題データとし、一の建築材料を特定する情報を正解データとした、教師あり学習によりモデル２２１を構築することが好ましい。これにより、情報出力装置１００のモデル１２１は、条件の違いによる建築材料の見え方の変化を学習したものとなるため、情報出力システムが出力する建築材料を特定する情報の精度を向上することができる。

【0082】

次に、学習部２０３が行うモデル２２１の学習方法の一例について説明する。

【0083】

図１０は、本発明の一実施の形態における、建築材料６０１についてのサンプル画像ＩＭ１～ＩＭ３の作成方法を説明する図である。なお、図１０および図１２では、照明の光の色温度の違いに起因する建築材料の色の違いが、細いハッチングの種類の違いにより表現されている。また、建築材料の左上の方向から光が照射しているものとして、凸部の周囲に生じる影が、太いハッチングで表現されている。これらのハッチングにより、サンプル画像ＩＭ１～ＩＭ３の各々における建築材料６０１の見え方が様々な条件によって変化することが、明らかにされている。

【0084】

図１０を参照して、ここでは、複数の建築材料のうち一の建築材料６０１に関する入力データＩＤの作成方法を説明する。情報出力システム１の管理者は、所定の位置（ここでは建築材料の左上の位置）に照明を固定する。建築材料６０１から所定の距離だけ離れた位置で、建築材料６０１のサンプル画像を撮影する。サンプル画像を撮影する際の距離は、情報出力システム１の利用時に携帯端末３００で建築材料を撮影する際の、携帯端末３００から建築材料までの距離と等しいことが好ましい。

【0085】

サンプル画像の撮影の際、管理者は、互いに異なる色温度を有する複数の光の各々を照射した状態で、建築材料６０１に関する複数のサンプル画像の各々を撮影する。ここでは電球色の光を建築材料６０１に照射した状態でサンプル画像ＩＭ１が撮影され、昼白色の光を建築材料６０１に照射した状態でサンプル画像ＩＭ２が撮影され、昼光色の光を建築材料６０１に照射した状態でサンプル画像ＩＭ３が撮影される。その結果、建築材料６０１に関する互いに異なる３つのサンプル画像ＩＭ１～ＩＭ３（第１および第２の照明画像の一例）が得られる。

【0086】

管理者は、建築材料６０１に関するサンプル画像ＩＭ１～ＩＭ３と、建築材料６０１を特定する情報ＩＦ１とを、建築材料６０１に関する入力データＩＤとして学習装置２００に入力する。建築材料６０１に関する入力データＩＤは、建築材料６０１に関する学習データＤＳ（図１２）の一部となる。情報ＩＦ１は、建築材料の製品番号、建築材料の購入方法、および建築材料を販売するウェブサイトのＵＲＬのうち少なくともいずれか１つを含むことが好ましい。入力データＩＤに含まれるサンプル画像の数は任意であり、複数であることが好ましい。

【0087】

なお、管理者は、建築材料６０１と同様の方法で、複数の建築材料のうち他の建築材料６０２、６０３・・・の各々に関する入力データＩＤも作成し、学習装置２００に入力する。

【0088】

学習装置２００は、建築材料６０１に関する入力データＩＤを取得すると、必要なタイミングで建築材料６０１に関する学習データを増補する。学習データの増補は、サンプル画像についての色の変換、コントラストの変更、ノイズの追加、サイズ変換、トリミング、および反転のうち少なくともいずれか１つの加工方法を用いて行われることが好ましい。ここでは、学習データの増補は、次の方法で行われる。

【0089】

図１１は、本発明の一実施の形態におけるサンプル画像ＩＭ１を用いた学習データの増補方法を説明する図である。

【0090】

図１１（ａ）を参照して、学習装置２００は、サンプル画像ＩＭ１における互いに異なる複数（ここでは７つ）の部分を切り出すことで、切出画像ＣＭ１１～ＣＭ１７（第１および第２の切出画像の一例）の各々を得る。サンプル画像ＩＭ１に占める切出画像ＣＭ１１～ＣＭ１３（第１の切出画像の一例）の各々の割合は互いに等しく、切出画像ＣＭ１１～ＣＭ１３の各々の画素数は互いに等しい。また、サンプル画像ＩＭ１に占める切出画像ＣＭ１４～ＣＭ１７（第２の切出画像の一例）の各々の割合は互いに等しく、切出画像ＣＭ１４～ＣＭ１７の各々の画素数は互いに等しい。サンプル画像ＩＭ１に占める切出画像ＣＭ１１～ＣＭ１３の各々の割合は、サンプル画像ＩＭ１に占める切出画像ＣＭ１４～ＣＭ１７の各々の割合よりも大きい。

【0091】

図１１（ｂ）を参照して、小さい方の切出画像ＣＭ１４～ＣＭ１７の各々は、そのままの画素数で、建築材料６０１に関するサンプル画像ＩＭ１４～ＩＭ１７の各々とされる。一方、大きい方の切出画像ＣＭ１１～ＣＭ１３の各々の画素数は、切出画像ＣＭ１４～ＣＭ１７の各々の画素数と同じになるように減少され（言い換えれば、切出画像ＣＭ１１～ＣＭ１３の各々は粗い画像に加工され）、サンプル画像ＩＭ１１～ＩＭ１３の各々とされる。このようにして、サンプル画像ＩＭ１を加工することでサンプル画像ＩＭ１１～ＩＭ１７が得られる。なお、１つのサンプル画像の加工により作成されるサンプル画像の数は任意である。

【0092】

図１２は、増補された後の建築材料６０１に関する学習データＤＳを示す図である。

【0093】

図１２を参照して、学習装置２００は、サンプル画像ＩＭ１と同様の方法で、サンプル画像ＩＭ２およびＩＭ３の各々を加工することで、サンプル画像ＩＭ２１～ＩＭ２７およびＩＭ３１～３７の各々を得る。サンプル画像ＩＭ２１～ＩＭ２７の各々は、サンプル画像ＩＭ２を加工することで作成され、サンプル画像ＩＭ１１～ＩＭ１７の各々に対応するものである。サンプル画像ＩＭ３１～ＩＭ３７の各々は、サンプル画像ＩＭ３を加工することで作成され、サンプル画像ＩＭ１１～ＩＭ１７の各々に対応するものである。

【0094】

学習装置２００は、建築材料６０１に関する学習データＤＳとして、サンプル画像ＩＭ１およびＩＭ１１～ＩＭ１７、ＩＭ２およびＩＭ２１～２７、ならびにＩＭ３およびＩＭ３１～ＩＭ３７（複数のサンプル画像の一例）と、情報ＩＦ１とを学習データ２２２に追加する。サンプル画像ＩＭＩおよびＩＭ１１～ＩＭ１７、ＩＭ２およびＩＭ２１～２７、ならびにＩＭ３およびＩＭ３１～ＩＭ３７は学習データＤＳの問題データとされ、情報ＩＦ１は学習データＤＳの正解データとされる。このようにして、建築材料６０１に関する学習データＤＳは、サンプル画像ＩＭ１１～ＩＭ１７、ＩＭ２１～２７、およびＩＭ３１～ＩＭ３７の分だけ増補される。

【0095】

図１３は、本発明の一実施の形態におけるモデル２２１の学習に関する情報出力システム１の動作を示すフローチャートである。

【0096】

図１３を参照して、学習装置２００は、ｎ（ｎは自然数）個の建築材料に関する入力データＩＤを取得すると（Ｓ１０１）、変数ｋを１に設定し（Ｓ１０３）、ｋ番目の建築材料に関する入力データＩＤを抽出する（Ｓ１０５）。続いて学習装置２００は、抽出した入力データを用いて、ｋ番目の建築材料に関する学習データを増補し（Ｓ１０７）、学習データ２２２に追加する（Ｓ１０９）。ついに学習装置２００は、変数ｋがｎと等しいか否かを判別する（Ｓ１１１）。

【0097】

ステップＳ１１１において、変数ｋがｎと等しくないと判別した場合（Ｓ１１１でＮＯ）、学習装置２００は、変数ｋをインクリメントし（Ｓ１１３）、ステップＳ１０５の処理へ進む。

【0098】

ステップＳ１１１において、変数ｋがｎと等しいと判別した場合（Ｓ１１１でＹＥＳ）、ｎ個の建築材料に関する学習データが全て学習データ２２２に追加された状態にある。この場合、学習装置２００は、学習データ２２２を用いて自機のモデル２２１に対する学習を行う（Ｓ１１５）。その後、学習装置２００は、自機のモデル２２１のデータを情報出力装置１００に送信する（Ｓ１１７）。情報出力装置１００は、学習装置２００のモデル２２１のデータを受信すると（Ｓ１１９）、自機のモデル１２１が学習装置２００のモデル２２１と同一の内容となるように、モデル１２１をモデル２２１と同期させ（Ｓ１２１）、処理を終了する。

【0099】

［実施の形態の効果］

【0100】

本実施の形態においては、購入者、建築会社、または建築材料の販売業者などであるユーザーは、必要な建築材料の画像を撮影することで、その建築材料を特定する情報を得ることができる。これにより、カタログに掲載された膨大な製品の中から、必要な建築材料を目視にて特定する必要がなくなり、利便性を向上することができる。また、必要な建築材料が最新版のカタログに掲載されていない状況であっても、必要な製品を発見することができ、利便性を向上することができる。

【0101】

また、一の建築材料に関する互いに異なる複数のサンプル画像の各々を問題データとし、一の建築材料を特定する情報を正解データとした、教師あり学習により学習済みモデルが構築されている。これにより、学習済みモデルは、条件の違いによる建築材料の見え方の変化を学習したものとなるため、建築材料を特定する情報の精度を向上することができる。

【0102】

また、一の建築材料に関する複数のサンプル画像は、互いに異なる色温度を有する複数の光の各々を一の建築材料に照射した状態で撮影した複数の照明画像の各々を含んでいる。これにより、学習済みモデルは、照明の光の色温度による一の建築材料の見え方の変化を学習したものとなるため、建築材料を特定する情報の精度を向上することができる。

【0103】

また、一の建築材料に関する複数のサンプル画像は、一の建築材料を撮影した画像における互いに異なる複数の部分の各々を切り出すことで得られた複数の切出画像の各々を含んでいる。これにより、学習済みモデルは、建築材料における撮影される部分による建築材料の見え方の変化を学習したものとなるため、建築材料を特定する情報の精度を向上することができる。

【0104】

さらに、一の建築材料を撮影した画像に占める第１の切出画像の割合は、一の建築材料を撮影した画像に占める第２の切出画像の割合よりも大きく、かつ第１の切出画像の画素数は、第２の切出画像の画素数と同じである。これにより、学習済みモデルは、建築材料までの距離による建築材料の見え方の変化を学習したものとなるため、建築材料を特定する情報の精度を向上することができる。

【0105】

［その他］

【0106】

モデル１２１および２２１の各々は、教師なし学習により生成されたものであってもよい。モデル１２１および２２１の各々が教師なし学習により生成されたものである場合、モデル１２１および２２１の各々は、建築材料を特定する情報に基づかず、建築材料に関する互いに異なる複数のサンプル画像に基づく機械学習により生成されたもの（言い換えれば、正解データの無い機械学習）であってもよい。モデル１２１および２２１の各々は、任意の学習モデルであればよく、Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）のような一部にのみニューラルネットワークを含むものや、ニューラルネットワークを含まないものであってもよい。

【0107】

上述の実施の形態では、管理者が、所定の位置（建築材料の左上の位置）に照明を固定し、互いに異なる色温度を有する複数の光の各々を照射した状態で、建築材料６０１に関する複数のサンプル画像ＩＭ１～ＩＭ３の各々を撮影する例について説明した。この例に加えて、またはこの例の代わりに、管理者は、互いに異なる複数の位置の各々に照明を配置した状態で、建築材料６０１に関する互いに異なる複数のサンプル画像の各々を撮影してもよい。これにより、照明の光が様々な角度から建築材料６０１に照射した状態で撮影された複数のサンプル画像に基づいて、モデル１２１および２２１の各々の学習を行うことができ、建築材料を特定する情報の精度を向上することができる。

【0108】

上述の実施の形態および変形例における処理は、ソフトウェアにより行っても、ハードウェア回路を用いて行ってもよい。また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ－ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザーに提供することにしてもよい。プログラムは、ＣＰＵなどのコンピューターにより実行される。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

【0109】

上述の実施の形態および変形例は、適宜組み合わせることができる。

【0110】

上述の実施の形態および変形例は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0111】

１ 情報出力システム（情報出力システムの一例）
１００ 情報出力装置
１０１ 画像取得部（画像取得部の一例）
１０２ 出力部（出力部の一例）
１０３，２０４，３０２ 送受信部（送信部および受信部の一例）
１０４，３０３ 操作表示部
１０５，２０５，３０４ 記憶部
１２１，２２１ モデル（学習済みモデルの一例）
２００ 学習装置
２０１ 学習データ取得部
２０２ 学習データ増補部
２０３ 学習部
２２２，ＤＳ 学習データ
３００ 携帯端末（撮影装置の一例）
３０１ 撮影部（撮影部の一例）
３２１ アプリ
４００ インターネット
５００ ニューラルネットワーク
５０１ 入力層
５０２ 中間層
５０３ 出力層
５１０ 問題データ
５１１ 正解データ
６０１，６０２，６０３ 建築材料
６１１，６１２ 建築材料における模様の列
６１３ 建築材料における凸部
６１４ 建築材料における凹部
ＣＭ１１～ＣＭ１７ 切出画像（第１および第２の切出画像の一例）
ＩＤ 入力データ
ＩＦ１ 建築材料を特定する情報
ＩＭ１～ＩＭ３，ＩＭ１１～ＩＭ１７，ＩＭ２１～ＩＭ２７，ＩＭ３１～ＩＭ３７ サンプル画像（複数のサンプル画像、ならびに第１および第２の照明画像の一例）
ＫＹ１～ＫＹ４ キー
Ｍ１，Ｍ３，Ｍ５，Ｍ６ メッセージ
Ｍ２ モニター
Ｍ４ 画像
Ｍ７ 情報

【要約】

【課題】利便性を向上することのできる情報出力システムおよび情報出力システムの制御プログラムを提供する。
【解決手段】情報出力システム１は、画像を取得する画像取得部１０１と、画像取得部１０１にて取得した画像を入力として、機械学習により生成された学習済みモデル１２１を用いて、画像取得部１０１にて取得した画像に関連する建築材料を特定する情報を出力する出力部１０２とを備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】