特許 7605645 モチーフ類似度計算装置、及びモデル学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】モチーフ類似度計算装置、及びモデル学習装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241217BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 4

(21)【出願番号】P 2021011464

(22)【出願日】2021-01-27

(65)【公開番号】P2022114957

(43)【公開日】2022-08-08

【審査請求日】2023-12-21

(73)【特許権者】

【識別番号】000003621

【氏名又は名称】株式会社竹中工務店

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】藤原 邦彦

(72)【発明者】

【氏名】伊勢田 元

(72)【発明者】

【氏名】神戸 寛貴

(72)【発明者】

【氏名】中川 浩明

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１３－２００５９０（ＪＰ，Ａ）

【文献】特開２０１１－１１３１９７（ＪＰ，Ａ）

【文献】寒川 聖文、外2名，“カテゴリ分類に横断的な類似検索システムの試作と評価”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，2004年05月28日，Vol.28, No.27，pp.29-32

【文献】濱上 知樹、澤田 和人，“深層学習による小袖屏風画像の特徴分析”，人工知能，日本，（一社）人工知能学会，2017年05月01日，Vol.32, No.3，pp.408-413

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

対象物を表す対象物画像を取得する取得部と、
前記取得部により取得された前記対象物画像を、前記対象物画像とモチーフを表すモチーフ画像との間の類似度及び複数のモチーフ間のどちらに近いかを示す比率を出力するための学習済みモデルであってモチーフの形状的性質及び構造的性質についての要素情報並びに前記要素情報の重要度合いを学習用データとして用いて学習された学習済みモデルへ入力することにより、前記対象物画像と前記モチーフ画像との間の要素情報の類似度及びモチーフ間のどちらに近いかを示す比率を取得するモチーフ類似度計算部と、
を含むモチーフ類似度計算装置。

【請求項2】

前記対象物画像と前記モチーフ画像とは、モノクロ画像とする、
請求項１に記載のモチーフ類似度計算装置。

【請求項3】

前記対象物は、建物とし、建物が写された前記対象物画像を用いる、
請求項１又は請求項２に記載のモチーフ類似度計算装置。

【請求項4】

学習用の対象物を表す画像である学習用対象物画像と、学習用のモチーフを表す画像である学習用モチーフ画像とが対応付けられており、モチーフの形状的性質及び構造的性質についての要素情報並びに前記要素情報の重要度合いを含む学習用データを取得する学習用データ取得部と、
前記学習用データ取得部により取得された学習用データに基づいて、学習用モデルを機械学習させることにより、入力として対象物を表す対象物画像が入力された場合に、前記対象物画像とモチーフを表すモチーフ画像との間の要素情報の類似度及び複数のモチーフ間のどちらに近いかを示す比率を出力するための学習済みモデルを生成する学習部と、
を含むモデル学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モチーフ類似度計算装置、及びモデル学習装置に関する。

【背景技術】

【0002】

従来、画像データの自動分類を行う画像データ分類装置が知られている（例えば、特許文献１）。特許文献１の画像データ分類装置は、画像データからその画像データの特徴量を抽出し、複数の画像データから抽出された特徴量について互いの関連性を評価する。そして、画像データ分類装置は、関連性の評価結果を基に複数の画像データの特徴量によって表現される事象に対するクラスタリングを行い、クラスタリングの結果を基に複数の画像データを分類する。

【0003】

また、画像デザインを支援する画像デザイン支援装置が知られている（例えば、特許文献２）。例えば、特許文献２の画像デザイン支援装置は、各画像の明度平均、明暗のバランス、色度平均、寒色暖色のバランス、及び彩度平均などの視覚特徴量を算出する。さらに、画像デザイン支援装置は、類似印象画像群と対比印象画像群との視覚特徴量の平均値の差が大きい視覚的特徴を２つ選択し、類似印象画像群及び対比印象画像群のそれぞれの画像を、２次元のグラフとして表示部に表示する。

【0004】

また、ノイズ、及び局所的変形に頑健な効率的な図形分類検索技術が知られている（例えば、特許文献３）。特許文献３の図形分類方法は、図形を入力し、その構造的特徴を抽出し、抽出された構造的特徴に変換規則を適用して変形図形の構造的特徴を合成し、それら各構造的特徴からインデックスを計算し、それら各構造的特徴に応じて図形を分類する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００１－２５６２４４号公報

【文献】特開平１０－１８８０２３号公報

【文献】特開平１１－２０３４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、工業デザイン及び建築デザインにモチーフを反映させることがある。モチーフとしては、例えば、木及び花等が挙げられる。

【0007】

しかし、木や花のモチーフは、その色及び形状が様々であり、そのモチーフがデザインにどの程度反映されており、デザインとモチーフとはどの程度類似しているのかといったことを評価することは難しい。

【0008】

この点、上記特許文献１～３の技術は、予め設定された特徴量等を基に、画像の類似度を演繹的に評価又は分類する手法である。しかし、上述したように木や花のモチーフは様々な色又は形状を有しており、上記特許文献１～３のような演繹的な手法による評価では、デザインとモチーフとの類似度を適切に評価することは困難である。

【0009】

そのため、上記特許文献１～３の技術は、デザインとモチーフとの類似度を適切に評価することができない、という課題がある。

【0010】

また、モチーフを建築、又は工業製品のデザインに落とし込むには、単に元となるモチーフの形状をトレースするのではなく、その特徴を抽象化しつつ、各種部材の形状、寸法、又は配置に落とし込んでいく必要がある。設計者、又はデザイナーがモチーフのどの特徴に着目するか、どの部材に落とし込むか、等によって抽象化の方法は様々である。そのため、デザインがモチーフの特徴を適切に表現できているかどうかを評価することは困難であった。

【0011】

本発明は上記事実を考慮して、学習用データから帰納的に生成された学習済みモデルを利用して、デザインとモチーフとの類似度を評価することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために、本発明のモチーフ類似度計算装置は、対象物を表す対象物画像を取得する取得部と、前記取得部により取得された前記対象物画像を、前記対象物画像とモチーフを表すモチーフ画像との間の類似度を出力するための学習済みモデルへ入力することにより、前記対象物画像と前記モチーフ画像との間の類似度を取得するモチーフ類似度計算部と、を含む。これにより、工業製品や建築物といった対象物のデザインが、どの程度モチーフと類似しているのかを適切に評価することができる。

【0013】

また、モチーフ類似度計算装置において、前記対象物画像と前記モチーフ画像とは、モノクロ画像とする、ようにできる。これにより対象物やモチーフの色を考慮することなく対象物がどの程度モチーフに類似しているかを評価することが可能となり、結果として対象物やモチーフの形状を考慮して両者の類似度を評価することができる。

【0014】

また、モチーフ類似度計算装置において、前記対象物は、建物とし、建物が写された前記対象物画像を用いる、ようにできる。これにより、建物のデザインがどの程度モチーフと類似しているのかを適切に評価することができる。

【0015】

本発明のモデル学習装置は、学習用の対象物を表す画像である学習用対象物画像と、学習用のモチーフを表す画像である学習用モチーフ画像とが対応付けられた学習用データを取得する学習用データ取得部と、前記学習用データ取得部により取得された学習用データに基づいて、学習用モデルを機械学習させることにより、対象物を表す対象物画像とモチーフを表すモチーフ画像との間の類似度を出力するための学習済みモデルを生成する学習部と、を含む。これにより、工業製品や建築物といった対象物を表す画像と、モチーフを表す画像との類似度を出力するための学習済みモデルを得ることができる。

【発明の効果】

【0016】

本発明によれば、学習用データから帰納的に生成された学習済みモデルを利用して、デザインとモチーフとの類似度を評価する、という効果が得られる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態の手法により学習した学習済みモデルによる、モチーフと建物との間の類似度の計算のイメージの一例を示す図である。

【図2】本発明の実施形態に係るモデル学習装置の構成を示すブロック図である。

【図3】本発明の実施形態に係るモチーフ類似度計算装置の構成を示すブロック図である。

【図4】本発明の実施形態に係るモデル学習装置におけるモデル学習処理を示すフローチャートである。

【図5】本発明の実施形態に係るモチーフ類似度計算装置におけるモチーフ類似度計算処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

［本発明の実施形態］
以下、図面を参照して、本発明の実施形態の、モデル学習装置、及びモチーフ類似度計算装置のそれぞれについて説明する。なお、それぞれ個々の装置として構成する場合について説明するが、モデル学習装置、及びモチーフ類似度計算装置を一体とした装置として構成してもよい。

【0019】

図１は、本発明の実施形態の手法により学習した学習済みモデルによる、モチーフと建物との間の類似度の計算のイメージの一例を示す図である。図１に示すように、樹木のモチーフに対して、対象物画像である建物の建築デザイン画像のそれぞれが、どの程度類似しているのかを、モチーフ画像と間の類似度のスコアとして出力する。これにより、設計者は設計中の建築デザインがどの程度モチーフに類似しているのかを把握することができる。なお、モチーフ画像との間の類似度は、モチーフ自体（すなわちモチーフ画像群全体）との間の類似度としてもよいし、モチーフに含まれるモチーフ画像（モチーフ画像全部のうちの一部）を指定して、指定したモチーフ画像と間の類似度としてもよい。

【0020】

図２は、本発明の実施形態に係るモデル学習装置の構成を示すブロック図である。図２に示すように、モデル学習装置１００は、機能的には、学習用データ取得部１１０と、学習部１１２と、モデル記憶部１１４とを備えている。モデル学習装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、データを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶手段としてのメモリ、及びネットワークインタフェース等を含んだコンピュータにより実現される。

【0021】

学習用データ取得部１１０は、学習に用いる学習用データを取得する。学習用データは、学習用対象物画像と、学習用モチーフ画像とが対応付けられたデータである。学習用対象物画像は、学習用の対象物を表す画像であり、対象物が建物である場合には建築デザイン画像の画像群を用いる。また、対象物は建物に限られず、デザイン性を有する構造物全般が対象である。よって、建物以外にも、工業製品（オブジェ、用具、食器、及び容器等）のデザイン画像を学習用対象物画像として用いることができる。学習用モチーフ画像は、学習用のモチーフを表す画像である。学習用モチーフ画像は、例えば、モチーフが樹木であれば樹木の画像の画像群、モチーフが蓮の花であれば蓮の花の画像の画像群を用いる。

【0022】

ここで、学習用データにおける、学習用対象物画像、及び学習用モチーフ画像について、それぞれモノクロ調の階調としたモノクロ画像にしてもよい。モノクロ画像にすることにより、配色、色彩、及び色調等の情報を除去した学習用データにすることができるため、形状的性質に着目した類似度の評価が可能なモデルを学習することができる。このような学習用データを用いることにより、モチーフ及び対象物間の形状的なパターン、及び構造的なパターンを重視して類似性を評価することができる学習済みモデルを得ることができる。モノクロ画像への変換は、学習用データ取得部１１０で行ってもよいし、取得前の外部で予め変換処理したモノクロ画像にした学習用対象物画像、及び学習用モチーフ画像を取得もよい。

【0023】

学習部１１２は、学習用データ取得部１１０により取得された学習用データに基づいて、学習用モデルを機械学習させることにより、対象物を表す対象物画像とモチーフを表すモチーフ画像との間の類似度を出力するための学習済みモデルを生成する。学習用モデルには、任意のニューラルネットワークを用いる。機械学習の手法は、教師あり機械学習によってニューラルネットワークのパラメータを学習させ、学習済みのニューラルネットワークを生成する手法を用いればよい。

【0024】

また、学習の際に、重視したい（又は重視したくない）形状的性質、又は構造的性質についての要素情報、及び要素情報の重要度合いの指定を受け付けて、モチーフの要素情報についての重みづけを行うようにしてもよい。例えば、蓮の花のモチーフであれば、花びらと柱頭との花全体での割合、及び花弁と柱頭との配置関係、花びらの枚数等の構造的性質、並びに花びらの形状、及び柱頭の形状等の形状的性質が要素情報として想定される。学習部１１２は、このような要素情報の指定、及び要素情報の重要度合いを学習用データに含めて、学習を行う。要素情報の指定は、モデル学習装置１００又は外部装置にユーザが操作可能な所定のユーザインタフェースを設け、所定のユーザインタフェースから受け付けるようにすればよい。重要度については、重視したい要素情報を高く設定し、重視したくない要素情報を低く設定することができる。これにより、モチーフの特定の要素情報の類似性を反映した評価が可能な学習済みモデルを学習することができる。また、要素を重みづけせずに学習した学習済みモデルと組み合わせて用いて類似度の結果を比較することで、対象物がモチーフによって表したい特定の要素について、類似性の定量的な評価が可能となる。

【0025】

次に、モチーフ類似度計算装置について説明する。図３は、本発明の実施形態に係るモチーフ類似度計算装置の構成を示すブロック図である。図３に示すように、モチーフ類似度計算装置２００は、機能的には、モデル記憶部２１０と、取得部２１２と、モチーフ類似度計算部２１４とを備えている。モチーフ類似度計算装置２００は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、及びネットワークインタフェース等を含んだコンピュータにより実現される。また、モチーフ類似度計算装置２００には、類似度計算の結果の表示及びユーザの操作が可能な所定のユーザインタフェースを設ける。

【0026】

モデル記憶部２１０には、モデル学習装置１００で生成された学習済みモデルが格納されている。学習済みモデルは、対象物画像とモチーフを表すモチーフ画像との間の類似度を出力するためのモデルとして学習されている。

【0027】

取得部２１２は、対象物を表す対象物画像を取得する。対象物画像は、例えば、建物の建築デザイン画像である。また、対象物は、モデル学習装置１００の場合と同様に他のデザイン性を有する対象物であってもよい。また、対象物画像はモノクロ画像であってもよい。

【0028】

モチーフ類似度計算部２１４は、取得部２１２により取得された対象物画像を、モデル記憶部２１０に格納されている学習済みモデルへ入力し、学習済みモデルからの出力により、対象物画像とモチーフ画像との間の類似度を取得する。

【0029】

また、設計者は複数のモチーフを建築デザインに取り入れる場合も想定される。このようなケースを想定して、学習及び類似度計算において、複数のモチーフとの類似度を出力すると共に、それぞれのモチーフの類似性の比率をスコアとして出力する学習済みモデルを学習するようにしてもよい。モデル学習装置１００は、複数のモチーフのそれぞれの学習用モチーフ画像を学習用データとして、学習用モデルの機械学習を行う。学習では、それぞれの類似度と、モチーフ間のどちらに近いかを示す比率とを出力するように学習済みモデルを学習する。モチーフ類似度計算装置２００では、対象物画像を学習済みモデルへの入力として、複数のモチーフのそれぞれについての類似度、及びモチーフ間の比率を出力する。例えば、蓮の花のモチーフと、樹木のモチーフとの２つのモチーフについてであれば、スコアについて、蓮の花のスコア：０．３、樹木のスコア：０．１等と出力する。そして、スコアと共に、比率について、蓮の花のモチーフの比率７０％、樹木のモチーフの比率３０％、等と出力するようにすればよい。これにより、設計者は、設計している建築デザインについて、それぞれのモチーフがどの程度配分になっているのか、を把握することができる。

【0030】

次に、本発明の実施形態の作用について説明する。まず、モデル学習装置１００の作用について説明する。図４は、本発明の実施形態に係るモデル学習装置１００におけるモデル学習処理を示すフローチャートである。モデル学習装置１００のＣＰＵがＲＯＭからプログラム及び各種データを読み出して実行することにより、ＣＰＵが、モデル学習装置１００の各部としての処理を実行する。

【0031】

ステップＳ１００では、学習用データ取得部１１０は、学習に用いる学習用データを取得する。学習用データは、学習用対象物画像と、学習用モチーフ画像とが対応付けられたデータである。

【0032】

ステップＳ１０２では、学習部１１２は、ステップＳ１００で取得された学習用データに基づいて、学習用モデルを機械学習させることにより、対象物を表す対象物画像とモチーフを表すモチーフ画像との間の類似度を出力するための学習済みモデルを生成する。

【0033】

ステップＳ１０４では、学習部１１２は、ステップＳ１０２で学習した学習済みモデルをモデル記憶部１１４に格納する。以上がモデル学習処理である。

【0034】

以上、説明したように、本発明の実施形態に係るモデル学習装置１００によれば、工業製品や建築物といった対象物を表す画像と、モチーフを表す画像との類似度を出力するための学習済みモデルを得ることができる。

【0035】

次に、モチーフ類似度計算装置２００の作用について説明する。図５は、本発明の実施形態に係るモチーフ類似度計算装置２００におけるモチーフ類似度計算処理を示すフローチャートである。モチーフ類似度計算装置２００のＣＰＵがＲＯＭからプログラム及び各種データを読み出して実行することにより、ＣＰＵが、モチーフ類似度計算装置２００の各部としての処理を実行する。

【0036】

ステップＳ２００では、取得部２１２は、対象物を表す対象物画像を取得する。

【0037】

ステップＳ２０２では、モチーフ類似度計算部２１４は、ステップＳ２００で取得された対象物画像を、モデル記憶部２１０に格納されている学習済みモデルへ入力し、学習済みモデルからの出力により、対象物画像とモチーフ画像との間の類似度を取得する。

【0038】

ステップＳ２０４では、モチーフ類似度計算部２１４は、ステップＳ２０２で取得した対象物画像とモチーフ画像との間の類似度を、所定のユーザインタフェースに表示する。以上がモチーフ類似度計算処理である。

【0039】

以上、説明したように、本発明の実施形態に係るモチーフ類似度計算装置２００によれば、学習用データから帰納的に生成された学習済みモデルを利用して、デザインとモチーフとの類似度を評価することができる。

【0040】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【符号の説明】

【0041】

１００ モデル学習装置
１１０ 学習用データ取得部
１１２ 学習部
１１４ モデル記憶部
２００ モチーフ類似度計算装置
２１０ モデル記憶部
２１２ 取得部
２１４ モチーフ類似度計算部

【図1】

【図2】

【図3】

【図4】

【図5】