(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024152803
(43)【公開日】2024-10-25
(54)【発明の名称】画像検索システム
(51)【国際特許分類】
G06F 16/583 20190101AFI20241018BHJP
【ＦＩ】
G06F16/583
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2024130985
(22)【出願日】2024-08-07
(62)【分割の表示】P 2021510572の分割
【原出願日】2020-03-17
(31)【優先権主張番号】P 2019065757
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】秋元 健吾
(72)【発明者】
【氏名】玉木 滋
(72)【発明者】
【氏名】山本 一宇
(72)【発明者】
【氏名】茂森 勇
(57)【要約】
【課題】検索精度が高い画像検索システムを提供する。
【解決手段】データベースと、処理部と、を有する画像検索システム。データベースは、複数のデータベース画像データを記憶する機能を有し、当該複数のデータベース画像データのそれぞれには、データベースタグが紐付けられる。処理部は、データベース画像データの特徴量を表すデータベース画像特徴量データを、データベース画像データごとに取得する機能を有する。また、処理部は、クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有する。さらに、処理部は、データベース画像データの、クエリ画像データに対する類似度である第１の類似度を、データベース画像データごとに算出する機能を有する。また、処理部は、データベースタグの一部を用いて、クエリ画像データに紐付けられるタグであるクエリタグを取得する機能を有する。
【選択図】図１１
【解決手段】データベースと、処理部と、を有する画像検索システム。データベースは、複数のデータベース画像データを記憶する機能を有し、当該複数のデータベース画像データのそれぞれには、データベースタグが紐付けられる。処理部は、データベース画像データの特徴量を表すデータベース画像特徴量データを、データベース画像データごとに取得する機能を有する。また、処理部は、クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有する。さらに、処理部は、データベース画像データの、クエリ画像データに対する類似度である第１の類似度を、データベース画像データごとに算出する機能を有する。また、処理部は、データベースタグの一部を用いて、クエリ画像データに紐付けられるタグであるクエリタグを取得する機能を有する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
データベースと、処理部と、入力部と、を有し、
前記データベースは、文書データと、複数のデータベース画像データと、を記憶する機能を有し、
前記処理部は、前記データベース画像データの特徴量を表すデータベース画像特徴量データを、前記複数のデータベース画像データのそれぞれについて取得する機能を有し、
前記処理部は、前記文書データを用いてデータベースタグを複数生成し、前記データベースタグを前記データベース画像データに紐づける機能を有し、
前記処理部は、前記データベースタグを表すデータベースタグベクトルを、前記複数のデータベースタグのそれぞれについて取得する機能を有し、
前記処理部は、前記入力部にクエリ画像データが入力された場合に、前記クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有し、
前記処理部は、前記データベース画像データの、前記クエリ画像データに対する類似度である第１の類似度を、前記複数のデータベース画像データのそれぞれについて算出する機能を有し、
前記処理部は、前記第１の類似度に基づき、前記データベースタグの一部を用いて、前記クエリ画像データに紐付けられるクエリタグを取得する機能を有し、
前記処理部は、前記クエリタグを表すクエリタグベクトルを取得する機能を有し、
前記処理部は、前記データベース画像特徴量データと、前記データベースタグベクトルと、を含む第１のデータを取得する機能を有し、
前記処理部は、前記クエリ画像特徴量データと、前記クエリタグベクトルと、を含む第２のデータを取得する機能を有し、
前記処理部は、前記第１のデータの、前記第２のデータに対する類似度である第２の類似度を算出する機能を有し、
前記処理部は、前記文書データに対して形態素解析を行うことにより抽出された単語の中から所定の個数の単語を抽出して、前記データベースタグを生成する機能を有する、
画像検索システム。
前記データベースは、文書データと、複数のデータベース画像データと、を記憶する機能を有し、
前記処理部は、前記データベース画像データの特徴量を表すデータベース画像特徴量データを、前記複数のデータベース画像データのそれぞれについて取得する機能を有し、
前記処理部は、前記文書データを用いてデータベースタグを複数生成し、前記データベースタグを前記データベース画像データに紐づける機能を有し、
前記処理部は、前記データベースタグを表すデータベースタグベクトルを、前記複数のデータベースタグのそれぞれについて取得する機能を有し、
前記処理部は、前記入力部にクエリ画像データが入力された場合に、前記クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有し、
前記処理部は、前記データベース画像データの、前記クエリ画像データに対する類似度である第１の類似度を、前記複数のデータベース画像データのそれぞれについて算出する機能を有し、
前記処理部は、前記第１の類似度に基づき、前記データベースタグの一部を用いて、前記クエリ画像データに紐付けられるクエリタグを取得する機能を有し、
前記処理部は、前記クエリタグを表すクエリタグベクトルを取得する機能を有し、
前記処理部は、前記データベース画像特徴量データと、前記データベースタグベクトルと、を含む第１のデータを取得する機能を有し、
前記処理部は、前記クエリ画像特徴量データと、前記クエリタグベクトルと、を含む第２のデータを取得する機能を有し、
前記処理部は、前記第１のデータの、前記第２のデータに対する類似度である第２の類似度を算出する機能を有し、
前記処理部は、前記文書データに対して形態素解析を行うことにより抽出された単語の中から所定の個数の単語を抽出して、前記データベースタグを生成する機能を有する、
画像検索システム。
【請求項2】
データベースと、処理部と、入力部と、を有し、
前記データベースは、文書データと、複数のデータベース画像データと、を記憶する機能を有し、
前記処理部は、前記データベース画像データの特徴量を表すデータベース画像特徴量データを、前記複数のデータベース画像データのそれぞれについて取得する機能を有し、
前記処理部は、前記文書データを用いてデータベースタグを複数生成し、前記データベースタグを前記データベース画像データに紐づける機能を有し、
前記処理部は、前記データベースタグを表すデータベースタグベクトルを、前記複数のデータベースタグのそれぞれについて取得する機能を有し、
前記処理部は、前記入力部にクエリ画像データが入力された場合に、前記クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有し、
前記処理部は、前記データベース画像データの、前記クエリ画像データに対する類似度である第１の類似度を、前記複数のデータベース画像データのそれぞれについて算出する機能を有し、
前記処理部は、前記第１の類似度に基づき、前記データベースタグの一部を用いて、前記クエリ画像データに紐付けられるクエリタグを取得する機能を有し、
前記処理部は、前記クエリタグを表すクエリタグベクトルを取得する機能を有し、
前記処理部は、前記データベース画像特徴量データと、前記データベースタグベクトルと、を含む第１のデータを取得する機能を有し、
前記処理部は、前記クエリ画像特徴量データと、前記クエリタグベクトルと、を含む第２のデータを取得する機能を有し、
前記処理部は、前記第１のデータの、前記第２のデータに対する類似度である第２の類似度を算出する機能を有し、
前記処理部は、前記文書データに対して形態素解析を行うことにより抽出された単語の中から、ＴＦ－ＩＤＦによる評価に基づいて所定の個数の単語を抽出して、前記データベースタグを生成する機能を有する、
画像検索システム。
前記データベースは、文書データと、複数のデータベース画像データと、を記憶する機能を有し、
前記処理部は、前記データベース画像データの特徴量を表すデータベース画像特徴量データを、前記複数のデータベース画像データのそれぞれについて取得する機能を有し、
前記処理部は、前記文書データを用いてデータベースタグを複数生成し、前記データベースタグを前記データベース画像データに紐づける機能を有し、
前記処理部は、前記データベースタグを表すデータベースタグベクトルを、前記複数のデータベースタグのそれぞれについて取得する機能を有し、
前記処理部は、前記入力部にクエリ画像データが入力された場合に、前記クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有し、
前記処理部は、前記データベース画像データの、前記クエリ画像データに対する類似度である第１の類似度を、前記複数のデータベース画像データのそれぞれについて算出する機能を有し、
前記処理部は、前記第１の類似度に基づき、前記データベースタグの一部を用いて、前記クエリ画像データに紐付けられるクエリタグを取得する機能を有し、
前記処理部は、前記クエリタグを表すクエリタグベクトルを取得する機能を有し、
前記処理部は、前記データベース画像特徴量データと、前記データベースタグベクトルと、を含む第１のデータを取得する機能を有し、
前記処理部は、前記クエリ画像特徴量データと、前記クエリタグベクトルと、を含む第２のデータを取得する機能を有し、
前記処理部は、前記第１のデータの、前記第２のデータに対する類似度である第２の類似度を算出する機能を有し、
前記処理部は、前記文書データに対して形態素解析を行うことにより抽出された単語の中から、ＴＦ－ＩＤＦによる評価に基づいて所定の個数の単語を抽出して、前記データベースタグを生成する機能を有する、
画像検索システム。
【請求項3】
請求項１又は２において、
前記処理部は、第１のニューラルネットワークと、第２のニューラルネットワークと、を有し、
前記データベース画像特徴量データ、及び前記クエリ画像特徴量データは、前記第１のニューラルネットワークを用いて取得され、
前記データベースタグベクトル、及び前記クエリタグベクトルは、前記第２のニューラルネットワークを用いて取得される画像検索システム。
前記処理部は、第１のニューラルネットワークと、第２のニューラルネットワークと、を有し、
前記データベース画像特徴量データ、及び前記クエリ画像特徴量データは、前記第１のニューラルネットワークを用いて取得され、
前記データベースタグベクトル、及び前記クエリタグベクトルは、前記第２のニューラルネットワークを用いて取得される画像検索システム。
【請求項4】
請求項３において、
前記第１のニューラルネットワークは、畳み込み層と、プーリング層と、を有し、
前記データベース画像特徴量データ、及び前記クエリ画像特徴量データは、前記プーリング層から出力される画像検索システム。
前記第１のニューラルネットワークは、畳み込み層と、プーリング層と、を有し、
前記データベース画像特徴量データ、及び前記クエリ画像特徴量データは、前記プーリング層から出力される画像検索システム。
【請求項5】
請求項３又は４において、
前記データベースタグベクトル、及び前記クエリタグベクトルは、分散表現ベクトルである画像検索システム。
前記データベースタグベクトル、及び前記クエリタグベクトルは、分散表現ベクトルである画像検索システム。
【請求項6】
請求項１乃至５のいずれか一項において、
前記第１の類似度、及び前記第２の類似度は、コサイン類似度である画像検索システム。
前記第１の類似度、及び前記第２の類似度は、コサイン類似度である画像検索システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、画像検索システム、及び画像検索方法に関する。
【0002】
なお、本発明の一態様は、上記の技術分野に限定されない。本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、それらの駆動方法、又はそれらの製造方法を一例として挙げることができる。
【背景技術】
【0003】
出願前の発明に関し先行技術調査を行うことで、関連する知的財産権が存在するか否かを調査することができる。先行技術調査を行うことで得られた、国内外の特許文献及び論文等の先行技術文献は、発明の新規性及び進歩性の確認、並びに、特許を出願するか否かの判断に利用することができる。また、先行技術文献の無効資料調査を行うことで、自身の所有する特許権が無効化する恐れが無いか、或いは、他者の所有する特許権を無効化できるか、調査することができる。
【0004】
例えば、出願前の技術を具現する図面と類似する図面が掲載された先行技術文献を検索することにより、上記先行技術調査を行うことができる。具体的には、例えば画像検索システムに使用者が図面を入力することで、入力された図面と類似する図面を含む先行技術文献を検索することができる。
【0005】
入力された画像と類似する画像の検索は、例えばニューラルネットワークを用いて行うことができる。例えば、特許文献１には、画像間の類似度を、ニューラルネットワークを用いて判定する方法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１７－２０７９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
入力された画像と、検索対象の画像と、の類似度を画像データのみを用いて算出すると、例えば入力された画像と異なる概念の画像が検索される場合がある。これにより、検索結果にノイズとなる画像が混入し、検索したい画像が出力されなくなる場合がある。よって、類似画像の検索精度が低くなる場合がある。
【0008】
そこで、本発明の一態様は、検索精度が高い画像検索システムを提供することを課題の一つとする。又は、本発明の一態様は、短時間で検索を行うことができる画像検索システムを提供することを課題の一つとする。又は、本発明の一態様は、検索を簡便に行うことができる画像検索システムを提供することを課題の一つとする。又は、本発明の一態様は、新規な画像検索システムを提供することを課題の一つとする。
【0009】
又は、本発明の一態様は、検索精度が高い画像検索方法を提供することを課題の一つとする。又は、本発明の一態様は、短時間で検索を行うことができる画像検索方法を提供することを課題の一つとする。又は、本発明の一態様は、検索を簡便に行うことができる画像検索方法を提供することを課題の一つとする。又は、本発明の一態様は、新規な画像検索方法を提供することを課題の一つとする。
【0010】
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。本発明の一態様は、必ずしも、これらの課題の全てを解決する必要はないものとする。明細書、図面、請求項の記載から、これら以外の課題を抽出することが可能である。
【課題を解決するための手段】
【0011】
本発明の一態様は、データベースと、処理部と、入力部と、を有し、データベースは、文書データと、複数のデータベース画像データと、を記憶する機能を有し、処理部は、データベース画像データの特徴量を表すデータベース画像特徴量データを、複数のデータベース画像データのそれぞれについて取得する機能を有し、処理部は、文書データを用いてデータベースタグを複数生成し、データベースタグをデータベース画像データに紐づける機能を有し、処理部は、データベースタグを表すデータベースタグベクトルを、複数のデータベースタグのそれぞれについて取得する機能を有し、処理部は、入力部にクエリ画像データが入力された場合に、クエリ画像データの特徴量を表すクエリ画像特徴量データを取得する機能を有し、処理部は、データベース画像データの、クエリ画像データに対する類似度である第１の類似度を、複数のデータベース画像データのそれぞれについて算出する機能を有し、処理部は、第１の類似度に基づき、データベースタグの一部を用いて、クエリ画像データに紐付けられるクエリタグを取得する機能を有し、処理部は、クエリタグを表すクエリタグベクトルを取得する機能を有し、処理部は、データベース画像特徴量データと、データベースタグベクトルと、を含む第１のデータを取得する機能を有し、処理部は、クエリ画像特徴量データと、クエリタグベクトルと、を含む第２のデータを取得する機能を有し、処理部は、第１のデータの、第２のデータに対する類似度である第２の類似度を算出する機能を有する画像検索システムである。
【0012】
又は、上記態様において、データベースタグには、単語が含まれてもよい。
【0013】
又は、上記態様において、処理部は、文書データに対して形態素解析を行うことにより、データベースタグを生成する機能を有してもよい。
【0014】
又は、上記態様において、処理部は、第１のニューラルネットワークと、第２のニューラルネットワークと、を有し、データベース画像特徴量データ、及びクエリ画像特徴量データは、第１のニューラルネットワークを用いて取得され、データベースタグベクトル、及びクエリタグベクトルは、第２のニューラルネットワークを用いて取得されてもよい。
【0015】
又は、上記態様において、第１のニューラルネットワークは、畳み込み層と、プーリング層と、を有し、データベース画像特徴量データ、及びクエリ画像特徴量データは、プーリング層から出力されてもよい。
【0016】
又は、上記態様において、データベースタグベクトル、及びクエリタグベクトルは、分散表現ベクトルであってもよい。
【0017】
又は、上記態様において、第１の類似度、及び第２の類似度は、コサイン類似度であってもよい。
【0018】
又は、本発明の一態様は、文書データ、及び複数のデータベース画像が記憶されているデータベースと、入力部と、を有する画像検索システムを用いた画像検索方法であって、データベース画像データの特徴量を表すデータベース画像特徴量データを、複数のデータベース画像データのそれぞれについて取得し、文書データを用いてデータベースタグを複数生成し、データベースタグをデータベース画像データに紐づけ、データベースタグを表すデータベースタグベクトルを、複数のデータベースタグのそれぞれについて取得し、入力部にクエリ画像データを入力し、クエリ画像データの特徴量を表すクエリ画像特徴量データを取得し、データベース画像データの、クエリ画像データに対する類似度である第１の類似度を、複数のデータベース画像データのそれぞれについて算出し、第１の類似度に基づき、データベースタグの一部を用いて、クエリ画像データに紐付けられるクエリタグを取得し、クエリタグを表すクエリタグベクトルを取得し、データベース画像特徴量データ、及びデータベースタグベクトルを含む第１のデータと、クエリ画像特徴量データと、クエリタグベクトルと、を含む第２のデータと、を取得し、第１のデータの、第２のデータに対する類似度である第２の類似度を算出する画像検索方法である。
【0019】
又は、上記態様において、データベースタグには、単語が含まれてもよい。
【0020】
又は、上記態様において、文書データに対して形態素解析を行うことにより、データベースタグを生成してもよい。
【0021】
又は、上記態様において、データベース画像特徴量データ、及びクエリ画像特徴量データを、第１のニューラルネットワークを用いて取得し、データベースタグベクトル、及びクエリタグベクトルを、第２のニューラルネットワークを用いて取得してもよい。
【0022】
又は、上記態様において、第１のニューラルネットワークは、畳み込み層と、プーリング層と、を有し、データベース画像特徴量データ、及びクエリ画像特徴量データは、プーリング層から出力されてもよい。
【0023】
又は、上記態様において、データベースタグベクトル、及びクエリタグベクトルは、分散表現ベクトルであってもよい。
【0024】
又は、上記態様において、第１の類似度、及び第２の類似度は、コサイン類似度であってもよい。
【発明の効果】
【0025】
本発明の一態様により、検索精度が高い画像検索システムを提供することができる。又は、本発明の一態様により、短時間で検索を行うことができる画像検索システムを提供することができる。又は、本発明の一態様により、検索を簡便に行うことができる画像検索システムを提供することができる。又は、本発明の一態様により、新規な画像検索システムを提供することができる。
【0026】
又は、本発明の一態様により、検索精度が高い画像検索方法を提供することができる。又は、本発明の一態様により、短時間で検索を行うことができる画像検索方法を提供することができる。又は、本発明の一態様により、検索を簡便に行うことができる画像検索方法を提供することができる。又は、本発明の一態様により、新規な画像検索方法を提供することができる。
【0027】
なお、これらの効果の記載は、他の効果の存在を妨げるものではない。本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。明細書、図面、請求項の記載から、これら以外の効果を抽出することが可能である。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【0030】
（実施の形態１）
本実施の形態では、本発明の一態様の画像検索システム、及び画像検索方法について、図面を用いて説明する。
本実施の形態では、本発明の一態様の画像検索システム、及び画像検索方法について、図面を用いて説明する。
【0031】
本発明の一態様の画像検索システムは、入力部と、データベースと、処理部と、を有する。処理部は第１のニューラルネットワークと、第２のニューラルネットワークと、を有する。第１及び第２のニューラルネットワークには、ニューロンを有する層が設けられる。
【0032】
本明細書等において、ニューラルネットワークとは、生物の神経回路網を模し、学習によってニューロン同士の結合強度を決定し、問題解決能力を持たせるモデル全般を指す。
【0033】
本明細書等において、ニューラルネットワークについて述べる際に、既にある情報からニューロンとニューロンの結合強度（重み係数ともいう）を決定することを「学習」という。
【0034】
また、本明細書等において、学習によって得られた結合強度を用いてニューラルネットワークを構成し、そこから新たな結論を導くことを「推論」という。
【0035】
データベースには、画像データが記憶されている。本発明の一態様の画像検索システムの使用者が画像データを入力部に入力すると、本発明の一態様の画像検索システムは、入力された画像データと類似する画像データを、データベースから検索して出力する。
【0036】
本明細書等において、データベースに記憶されている画像データを、データベース画像データと呼ぶ。また、入力部に入力された画像データを、クエリ画像データと呼ぶ。さらに、データベース画像データ、及びクエリ画像データをまとめて、単に画像データと呼ぶ場合がある。
【0037】
以下では、本発明の一態様の画像検索システムを用いた画像検索方法について説明する。
【0038】
画像データを、処理部が有する第１のニューラルネットワークに入力することにより、画像特徴量データを取得することができる。
【0039】
本明細書等において、画像データの特徴量を表すデータを、画像特徴量データと呼ぶ。例えば、データベース画像データの特徴量を表すデータをデータベース画像特徴量データと呼び、クエリ画像データの特徴量を表すデータをクエリ画像特徴量データと呼ぶ。
【0040】
第１のニューラルネットワークは、例えば畳み込み層と、プーリング層と、を有する、畳み込みニューラルネットワークとすることができる。第１のニューラルネットワークを畳み込みニューラルネットワークとする場合、画像データを第１のニューラルネットワークに入力することによりプーリング層から出力されるデータを、画像特徴量データとすることができる。
【0041】
また、データベース画像データに対して、タグを紐付ける。例えば、データベース画像データに紐付けられる文書データをデータベースに記憶させておき、当該文書データに対して形態素解析を行うことにより、タグの紐付けを行うことができる。当該タグは、データベース画像データに対応する画像の概念、技術的内容、注目点等を表すキーワードとすることができる。例えば、１つのタグは、１つの単語を表すものとすることができる。データベース画像データには、複数のタグを紐付けることができる。
【0042】
本明細書等において、データベース画像データに紐付けられているタグを、データベースタグと呼ぶ。また、クエリ画像データに紐付けられているタグを、クエリタグと呼ぶ。
【0043】
タグを、処理部が有する第２のニューラルネットワークに入力することにより、タグをベクトルにより表すことができる。例えば、タグを３００次元の分散表現ベクトルにより表すことができる。
【0044】
本明細書等において、タグを表すベクトルを、タグベクトルと呼ぶ。例えば、データベースタグを表すベクトルをデータベースタグベクトルと呼び、クエリタグを表すベクトルをクエリタグベクトルと呼ぶ。また、１つのタグベクトルとは、１つのタグに対応するタグベクトルを示す。
【0045】
本明細書等において、ベクトルという用語は、複数の値の集合を示す。また、１つのベクトルを構成する値の個数を、次元数と呼ぶ。例えば、（５，１，４，３，２）で表されるベクトルは、５次元のベクトルであるということができる。なお、ベクトルを構成する値を、成分と呼ぶ場合がある。
【0046】
本発明の一態様の画像検索システムを用いた画像検索方法では、データベース画像データの他、当該データベース画像の特徴量を表すデータベース画像特徴量データが、あらかじめデータベースに記憶されている。また、データベース画像データに対して紐付けられているデータベースタグ、及び当該データベースタグを表すデータベースタグベクトルも、あらかじめデータベースに記憶されている。なお、データベースタグそのものは、データベースに記憶されていなくてもよい。
【0047】
本発明の一態様の画像検索システムを用いた画像検索方法では、画像検索システムの使用者が入力部にクエリ画像データを入力すると、クエリ画像データが第１のニューラルネットワークに入力され、クエリ画像特徴量データが生成される。次に、データベース画像特徴量データ及びクエリ画像特徴量データを用いて、データベース画像データの、クエリ画像データに対する類似度を算出する。例えば、コサイン類似度を算出する。クエリ画像データに対する類似度の算出は、例えば全てのデータベース画像データのそれぞれに対して行うことができる。
【0048】
その後、上記類似度の算出結果に基づき、データベースタグを用いてクエリタグを取得する。例えば、類似度が高いデータベース画像データに紐付けられているデータベースタグの中から、出現頻度が高いデータベースタグを、クエリタグとすることができる。なお、クエリタグの個数は、例えば１つのデータベース画像データに紐付けられているデータベースタグの個数と同数とすることができる。
【0049】
本明細書等において、１つの画像データとは、例えば１フレーム期間に表示される１枚の画像を表す画像データを示す。
【0050】
次に、データベース画像特徴量データと、データベースタグベクトルと、を含む第１のデータを取得する。また、クエリ画像特徴量データと、クエリタグベクトルと、を含む第２のデータを取得する。その後、第１のデータと、第２のデータと、の類似度を算出することにより、データベース画像データの、クエリ画像データに対する類似度を補正する。例えば、第１のデータと、第２のデータと、のコサイン類似度を算出することにより、当該補正を行う。
【0051】
ここで、１つの第１のデータには、例えば１つのデータベース画像特徴量データと、当該データベース画像特徴量データに対応するデータベース画像データに紐付けられたデータベースタグに対応するデータベースタグベクトルと、を含むことができる。つまり、第１のデータの個数は、データベース画像特徴量データの個数と同数とすることができる。また、１つの第２のデータには、クエリ画像特徴量データと、１つの第１のデータが有するデータベースタグベクトルと同数のクエリタグベクトルと、を含むことができる。
【0052】
次に、上記補正後の類似度の順位に関する情報を含むランキングデータを生成し、検索結果として本発明の一態様の画像検索システムの外部に出力する。以上のようにデータベース画像データの、クエリ画像データに対する類似度を補正することにより、例えば特徴量はクエリ画像と類似するが、概念が異なるデータベース画像が検索されることを抑制することができる。これにより、検索結果にノイズとなる画像が混入し、検索したい画像が出力されなくなることを抑制することができる。よって、本発明の一態様の画像検索システムは、高精度に検索を行うことができる。
【0053】
また、本発明の一態様の画像検索システムを用いた画像検索方法では、データベースタグを用いてクエリタグを取得する。当該取得方法は、例えばクエリ画像特徴量データを基にしてクエリタグを取得する方法と比較して、簡便な方法である。よって、本発明の一態様の画像検索システムは、短時間で検索を行うことができる。また、データベースタグを用いてクエリタグを取得する方法は、例えば本発明の一態様の画像検索システムの使用者が全てのクエリタグを指定する方法と比較して、クエリ画像データに対応する画像の概念、技術的内容、注目点等を表すタグを網羅的に取得することができる。よって、本発明の一態様の画像検索システムは、簡便かつ高い精度で検索を行うことができる。
【0054】
＜１－１．画像検索システム＞
図１は、画像検索システム１０の構成例を示すブロック図である。なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることもあり得る。また、一つの機能が複数の構成要素に係わることもあり得、例えば、処理部１３で行われる複数の処理は、互いに異なるサーバによって実行されることがある。
図１は、画像検索システム１０の構成例を示すブロック図である。なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることもあり得る。また、一つの機能が複数の構成要素に係わることもあり得、例えば、処理部１３で行われる複数の処理は、互いに異なるサーバによって実行されることがある。
【0055】
画像検索システム１０は、少なくとも、処理部１３を有する。図１に示す画像検索システム１０は、さらに、入力部１１、伝送路１２、記憶部１５、データベース１７、及び出力部１９を有する。
【0056】
［入力部１１］
入力部１１には、画像検索システム１０の外部から画像データ等が供給される。入力部１１に供給された画像データ等は、伝送路１２を介して、処理部１３、記憶部１５、又はデータベース１７に供給される。前述のように、入力部１１に入力された画像データをクエリ画像データと呼ぶ。
入力部１１には、画像検索システム１０の外部から画像データ等が供給される。入力部１１に供給された画像データ等は、伝送路１２を介して、処理部１３、記憶部１５、又はデータベース１７に供給される。前述のように、入力部１１に入力された画像データをクエリ画像データと呼ぶ。
【0057】
［伝送路１２］
伝送路１２は、画像データ等を伝達する機能を有する。入力部１１、処理部１３、記憶部１５、データベース１７、及び出力部１９の間の情報の送受信は、伝送路１２を介して行うことができる。
伝送路１２は、画像データ等を伝達する機能を有する。入力部１１、処理部１３、記憶部１５、データベース１７、及び出力部１９の間の情報の送受信は、伝送路１２を介して行うことができる。
【0058】
［処理部１３］
処理部１３は、入力部１１、記憶部１５、データベース１７等から供給された画像データ等を用いて、演算、推論等を行う機能を有する。処理部１３はニューラルネットワークを有し、当該ニューラルネットワークを用いて演算、推論等を行うことができる。また、処理部１３はニューラルネットワークを用いない演算等を行うことができる。処理部１３は、演算結果、推論結果等を記憶部１５、データベース１７、出力部１９等に供給することができる。
処理部１３は、入力部１１、記憶部１５、データベース１７等から供給された画像データ等を用いて、演算、推論等を行う機能を有する。処理部１３はニューラルネットワークを有し、当該ニューラルネットワークを用いて演算、推論等を行うことができる。また、処理部１３はニューラルネットワークを用いない演算等を行うことができる。処理部１３は、演算結果、推論結果等を記憶部１５、データベース１７、出力部１９等に供給することができる。
【0059】
処理部１３には、チャネル形成領域に金属酸化物を有するトランジスタを用いることが好ましい。当該トランジスタはオフ電流が極めて低いため、当該トランジスタを記憶素子として機能する容量素子に流入した電荷（データ）を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。当該トランジスタを、処理部１３が有するレジスタ及びキャッシュメモリのうち少なくとも一方に用いることで、必要なときだけ処理部１３を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより処理部１３をオフにすることができる。すなわち、ノーマリーオフコンピューティングが可能となり、画像検索システムの低消費電力化を図ることができる。
【0060】
本明細書等において、金属酸化物（ｍｅｔａｌ ｏｘｉｄｅ）とは、広い意味での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ又は単にＯＳともいう）等に分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、及びスイッチング作用の少なくとも１つを有する場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳということができる。
【0061】
また、本明細書等において、チャネル形成領域に酸化物半導体又は金属酸化物を用いたトランジスタをＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒトランジスタ、あるいはＯＳトランジスタという。
【0062】
チャネル形成領域が有する金属酸化物はインジウム（Ｉｎ）を含むことが好ましい。チャネル形成領域が有する金属酸化物がインジウムを含む金属酸化物の場合、ＯＳトランジスタのキャリア移動度（電子移動度）が高くなる。また、チャネル形成領域が有する金属酸化物は、元素Ｍを含む酸化物半導体であると好ましい。元素Ｍは、好ましくは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）又はスズ（Ｓｎ）等とする。そのほかの元素Ｍに適用可能な元素としては、ホウ素（Ｂ）、シリコン（Ｓｉ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）等がある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、チャネル形成領域が有する金属酸化物は、亜鉛（Ｚｎ）を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。
【0063】
チャネル形成領域が有する金属酸化物は、インジウムを含む金属酸化物に限定されない。半導体層は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物等の、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物等であっても構わない。
【0064】
処理部１３は、例えば、演算回路、又は中央演算装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有する。
【0065】
処理部１３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のマイクロプロセッサを有していてもよい。マイクロプロセッサは、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＦＰＡＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｎａｌｏｇ Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現された構成であってもよい。処理部１３は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理及びプログラム制御を行うことができる。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域、及び記憶部１５のうち少なくとも一方に格納される。
【0066】
処理部１３はメインメモリを有していてもよい。メインメモリは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリ、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリのうち少なくとも一方を有する。
【0067】
ＲＡＭとしては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が用いられ、処理部１３の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部１５に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ、及びルックアップテーブル等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータ、プログラム、及びプログラムモジュールは、それぞれ、処理部１３に直接アクセスされ、操作される。
【0068】
ＲＯＭには、書き換えを必要としない、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）及びファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭ、ＯＴＰＲＯＭ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が挙げられる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ－ＥＰＲＯＭ（Ｕｌｔｒａ－Ｖｉｏｌｅｔ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等が挙げられる。
【0069】
［記憶部１５］
記憶部１５は、処理部１３が実行するプログラムを記憶する機能を有する。また、記憶部１５は、処理部１３が生成した演算結果及び推論結果、並びに、入力部１１に入力された画像データ等を記憶する機能を有していてもよい。
記憶部１５は、処理部１３が実行するプログラムを記憶する機能を有する。また、記憶部１５は、処理部１３が生成した演算結果及び推論結果、並びに、入力部１１に入力された画像データ等を記憶する機能を有していてもよい。
【0070】
記憶部１５は、揮発性メモリ及び不揮発性メモリのうち少なくとも一方を有する。記憶部１５は、例えば、ＤＲＡＭ、ＳＲＡＭ等の揮発性メモリを有していてもよい。記憶部１５は、例えば、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、抵抗変化型メモリともいう）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、磁気抵抗型メモリともいう）、又はフラッシュメモリ等の不揮発性メモリを有していてもよい。また、記憶部１５は、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ：ＨＤＤ）及びソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等の記録メディアドライブを有していてもよい。
【0071】
［データベース１７］
データベース１７は、検索対象となる画像データを記憶する機能を有する。前述のように、データベースに記憶されている画像データを、データベース画像データと呼ぶ。また、データベース１７は、処理部１３が生成した演算結果及び推論結果を記憶する機能を有する。さらに、入力部１１に入力された画像データ等を記憶する機能を有していてもよい。なお、記憶部１５及びデータベース１７は互いに分離されていなくてもよい。例えば、画像検索システム１０は、記憶部１５及びデータベース１７の双方の機能を有する記憶ユニットを有していてもよい。
データベース１７は、検索対象となる画像データを記憶する機能を有する。前述のように、データベースに記憶されている画像データを、データベース画像データと呼ぶ。また、データベース１７は、処理部１３が生成した演算結果及び推論結果を記憶する機能を有する。さらに、入力部１１に入力された画像データ等を記憶する機能を有していてもよい。なお、記憶部１５及びデータベース１７は互いに分離されていなくてもよい。例えば、画像検索システム１０は、記憶部１５及びデータベース１７の双方の機能を有する記憶ユニットを有していてもよい。
【0072】
［出力部１９］
出力部１９は、画像検索システム１０の外部に情報を供給する機能を有する。例えば、処理部１３における演算結果又は推論結果等を外部に供給することができる。
出力部１９は、画像検索システム１０の外部に情報を供給する機能を有する。例えば、処理部１３における演算結果又は推論結果等を外部に供給することができる。
【0073】
＜１－２．画像検索方法－１＞
まず、画像検索システム１０を用いて検索を行うために事前に行う処理について説明する。図２は、当該処理の方法の一例を示すフローチャートである。
まず、画像検索システム１０を用いて検索を行うために事前に行う処理について説明する。図２は、当該処理の方法の一例を示すフローチャートである。
【0074】
［ステップＳ０１］
まず、データベース１７から伝送路１２を介して、データベース画像データＧＤＤＢが処理部１３に入力される。データベース画像データＧＤＤＢは、知的財産の情報が有する図面を表すデータとすることができる。ここで、知的財産の情報としては、例えば特許文献（公開特許公報、特許公報等）、実用新案公報、意匠公報、及び論文等の刊行物が挙げられる。国内で発行された刊行物に限られず、世界各国で発行された刊行物を、知的財産の情報として用いることができる。
まず、データベース１７から伝送路１２を介して、データベース画像データＧＤＤＢが処理部１３に入力される。データベース画像データＧＤＤＢは、知的財産の情報が有する図面を表すデータとすることができる。ここで、知的財産の情報としては、例えば特許文献（公開特許公報、特許公報等）、実用新案公報、意匠公報、及び論文等の刊行物が挙げられる。国内で発行された刊行物に限られず、世界各国で発行された刊行物を、知的財産の情報として用いることができる。
【0075】
知的財産の情報は、刊行物に限られない。例えば、画像検索システムの使用者又は使用団体が独自に有する画像ファイル等の各種ファイルも、データベース画像データＧＤＤＢとして用いることができる。さらに、知的財産の情報としては、発明、考案、又は意匠を説明する図面等が挙げられる。
【0076】
また、データベース画像データＧＤＤＢは、例えば、特定の出願人の特許文献に記載されている図面を表すデータ、又は特定の技術分野の特許文献に記載されている図面を表すデータを有することができる。
【0077】
画像検索システム１０は、クエリ画像データと類似するデータベース画像データＧＤＤＢを検索する機能を有する。よって、画像検索システム１０を用いることにより、例えば出願前の発明と類似する特許文献、論文、又は工業製品を検索することができる。これにより、出願前の発明に係る先行技術調査をすることができる。関連する先行技術を把握し再検討することで、発明を強化し、他社が回避困難な強い特許になる発明とすることができる。
【0078】
また、画像検索システム１０を用いることにより、例えば発売前の工業製品と類似する特許文献、論文、又は工業製品を検索することができる。データベース画像データＧＤＤＢが自社の特許文献に記載されている画像に対応するデータを有する場合、発売前の工業製品に係る技術が社内で十分に特許出願できているかを確認することができる。又は、データベース画像データＧＤＤＢが他社の特許文献に記載されている画像に対応するデータを有する場合、発売前の工業製品が他社の知的財産権を侵害していないかを確認することができる。関連する先行技術を把握し再検討することで、新たな発明を発掘し、自社の事業に貢献する強い特許になる発明とすることができる。なお、発売前の工業製品に限らず、発売後の工業製品について、検索してもよい。
【0079】
また、例えば、画像検索システム１０を用いて、特定の特許と類似する特許文献、論文、又は工業製品を検索することができる。特に、当該特許の出願日を基準に調べることで、当該特許が無効理由を含まないか、簡便かつ高い精度で調査することができる。
【0080】
［ステップＳ０２］
次に、データベース画像データＧＤＤＢを、処理部１３が有するニューラルネットワークに入力する。
次に、データベース画像データＧＤＤＢを、処理部１３が有するニューラルネットワークに入力する。
【0081】
図３Ａは、処理部１３が有するニューラルネットワークであるニューラルネットワーク３０の構成例を示す図である。ニューラルネットワーク３０は、層３１［１］乃至層３１［ｍ］（ｍは１以上の整数）を有する。
【0082】
層３１［１］乃至層３１［ｍ］は、ニューロンを有し、各層に設けられているニューロン同士が結合されている。例えば、層３１［１］に設けられているニューロンは、層３１［２］に設けられているニューロンと結合されている。また、層３１［２］に設けられているニューロンは、層３１［１］に設けられているニューロン、及び層３１［３］に設けられているニューロンと結合されている。つまり、層３１［１］乃至層３１［ｍ］により、階層型のニューラルネットワークが構成されている。
【0083】
データベース画像データＧＤＤＢは層３１［１］に入力され、層３１［１］は入力された画像データに対応するデータを出力する。当該データは層３１［２］に入力され、層３１［２］は入力されたデータに対応するデータを出力する。層３１［ｍ］には層３１［ｍ－１］から出力されたデータが入力され、層３１［ｍ］は当該入力されたデータに対応するデータを出力する。以上より、層３１［１］を入力層、層３１［２］乃至層３１［ｍ－１］を中間層、層３１［ｍ］を出力層とすることができる。
【0084】
ニューラルネットワーク３０は、例えば層３１［１］乃至層３１［ｍ］から出力されるデータが、ニューラルネットワーク３０に入力された画像データの特徴量を表すようにあらかじめ学習されている。学習は、教師なし学習、教師あり学習等により行うことができる。特に、教師なし学習は、教師データ（正解ラベルともいう）が不要であるため好ましい。また、教師なし学習、教師あり学習のどちらの方法で学習を行う場合であっても、学習アルゴリズムとして誤差逆伝播方式等を用いることができる。
【0085】
ここで、学習データとして、データベース画像データＧＤＤＢを用いることが好ましい。これにより、例えば層３１［１］乃至層３１［ｍ］から出力されるデータを、ニューラルネットワーク３０に入力された画像データの特徴量を正確に表すものとすることができる。例えば、データベース１７に記憶されているデータベース画像データＧＤＤＢの全てを学習データに用いて、ニューラルネットワーク３０は学習を行うことができる。例えば、データベース画像データＧＤＤＢの一部を学習データに用いて、ニューラルネットワーク３０は学習を行うことができる。例えば、データベース画像データＧＤＤＢの他に、記憶部１５に記憶されている画像データ、及び画像検索システム１０の外部から入力部１１を介して処理部１３に入力された画像データを学習データに用いて、ニューラルネットワーク３０は学習を行うことができる。
【0086】
なお、学習データとして、データベース画像データＧＤＤＢを用いなくてもよい。例えば、画像検索システム１０の外部から入力部１１を介して処理部１３に入力された画像データのみを学習データに用いて、ニューラルネットワーク３０は学習を行うことができる。
【0087】
ニューラルネットワーク３０は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）とすることができる。図３Ｂは、ニューラルネットワーク３０としてＣＮＮを適用した場合の、ニューラルネットワーク３０の構成例を示す図である。ここで、ＣＮＮを適用したニューラルネットワーク３０を、ニューラルネットワーク３０ａとする。
【0088】
ニューラルネットワーク３０ａは、畳み込み層ＣＬ、プーリング層ＰＬ、及び全結合層ＦＣＬを有する。図３Ｂでは、ニューラルネットワーク３０ａが、畳み込み層ＣＬとプーリング層ＰＬをそれぞれｍ層（ｍは１以上の整数）ずつ有し、全結合層ＦＣＬを１層有する例を示している。なお、ニューラルネットワーク３０ａは、全結合層ＦＣＬを２層以上有してもよい。
【0089】
畳み込み層ＣＬは、当該畳み込み層ＣＬに入力されたデータに対して畳み込みを行う機能を有する。例えば、畳み込み層ＣＬ［１］は、処理部１３に入力された画像データに対して畳み込みを行う機能を有する。また、畳み込み層ＣＬ［２］は、プーリング層ＰＬ［１］から出力されたデータに対して畳み込みを行う機能を有する。また、畳み込み層ＣＬ［ｍ］は、プーリング層ＰＬ［ｍ－１］から出力されたデータに対して畳み込みを行う機能を有する。
【0090】
畳み込みは、畳み込み層ＣＬに入力されたデータと、重みフィルタと、の積和演算を繰り返すことにより行われる。畳み込み層ＣＬにおける畳み込みにより、ニューラルネットワーク３０ａに入力された画像データに対応する画像の特徴等が抽出される。
【0091】
畳み込みが施されたデータは、活性化関数によって変換された後、プーリング層ＰＬに出力される。活性化関数としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）等を用いることができる。ＲｅＬＵは、入力値が負である場合は“０”を出力し、入力値が“０”以上である場合は入力値をそのまま出力する関数である。また、活性化関数として、シグモイド関数、ｔａｎｈ関数等を用いることもできる。
【0092】
プーリング層ＰＬは、畳み込み層ＣＬから入力されたデータに対してプーリングを行う機能を有する。プーリングは、データを複数の領域に分割し、当該領域ごとに所定のデータを抽出してマトリクス状に配置する処理である。プーリングにより、畳み込み層ＣＬによって抽出された特徴を残しつつ、データ量を小さくすることができる。また、入力データの微小なずれに対するロバスト性を高めることができる。なお、プーリングとしては、最大プーリング、平均プーリング、Ｌｐプーリング等を用いることができる。
【0093】
全結合層ＦＣＬは、プーリング層ＰＬ［ｍ］から出力されたデータを用いて、画像の判定を行う機能を有する。全結合層ＦＣＬは、ある層の全てのノードが、次の層の全てのノードと接続された構成を有する。畳み込み層ＣＬ又はプーリング層ＰＬから出力されたデータは２次元の特徴マップであり、全結合層ＦＣＬに入力されると１次元に展開される。そして、全結合層ＦＣＬによる推論によって得られたベクトルが、全結合層ＦＣＬから出力される。
【0094】
なお、ニューラルネットワーク３０ａの構成は図３Ｂの構成に限定されない。例えば、プーリング層ＰＬが複数の畳み込み層ＣＬごとに設けられていてもよい。つまり、ニューラルネットワーク３０ａが有するプーリング層ＰＬの数は、畳み込み層ＣＬの数より少なくてもよい。また、抽出された特徴の位置情報を極力残したい場合は、プーリング層ＰＬを設けなくてもよい。
【0095】
ニューラルネットワーク３０ａは学習を行うことにより、重みフィルタのフィルタ値、全結合層ＦＣＬの重み係数等を最適化することができる。
【0096】
次に、畳み込み層ＣＬにおいて行われる畳み込み処理、及びプーリング層ＰＬにおいて行われるプーリング処理の一例について、図４を用いて説明する。図４において、畳み込み層ＣＬに入力されたデータは、３行３列の入力データ値（入力データ値ｉ１１、入力データ値ｉ１２、入力データ値ｉ１３、入力データ値ｉ２１、入力データ値ｉ２２、入力データ値ｉ２３、入力データ値ｉ３１、入力データ値ｉ３２、入力データ値ｉ３３）を有するとする。また、重みフィルタは、２行２列のフィルタ値（フィルタ値ｆ１１、フィルタ値ｆ１２、フィルタ値ｆ２１、フィルタ値ｆ２２）を有するとする。
【0097】
ここで、例えば畳み込み層ＣＬ［１］に入力されるデータは、画像データとすることができる。この場合、上記入力データ値は、画像データに含まれる画素値とすることができる。
【0098】
本明細書等において、画素値とは、画素が射出する光の輝度の階調を表す値を示す。例えば、画素値が８ビットの値である場合、画素は２５６階調の輝度の光を射出することができる。画像データは、画素値の集合を含むということができ、例えば画素と同数の画素値を含むことができる。例えば、画像の画素数が２×２である場合、当該画像を表す画像データは、２×２の画素値を含むということができる。
【0099】
また、例えば畳み込み層ＣＬ［２］に入力される上記入力データ値は、プーリング層ＰＣ［１］の出力値とすることができ、畳み込み層ＣＬ［ｍ］に入力される上記入力データ値は、プーリング層ＰＣ［ｍ－１］の出力値とすることができる。
【0100】
畳み込みは、入力データ値とフィルタ値との積和演算によって行われる。フィルタ値は、所定の特徴を示すデータ（特徴データという）とすることができる。この場合、入力データ値とフィルタ値を比較することにより、ニューラルネットワーク３０ａに入力された画像データに対して特徴抽出を行うことができる。
【0101】
図４では、畳み込み層ＣＬが、入力データ値ｉ１１、入力データ値ｉ１２、入力データ値ｉ２１、及び入力データ値ｉ２２に対してフィルタ処理を行うことにより、畳み込み層ＣＬから出力されるデータが有する畳み込み値Ｃ１１を取得する様子を示している。また、畳み込み層ＣＬが、入力データ値ｉ１２、入力データ値ｉ１３、入力データ値ｉ２２、及び入力データ値ｉ２３に対してフィルタ処理を行うことにより、畳み込み層ＣＬから出力されるデータが有する畳み込み値Ｃ１２を取得する様子を示している。また、畳み込み層ＣＬが、入力データ値ｉ２１、入力データ値ｉ２２、入力データ値ｉ３１、及び入力データ値ｉ３２に対してフィルタ処理を行うことにより、畳み込み層ＣＬから出力されるデータが有する畳み込み値Ｃ２１を取得する様子を示している。さらに、畳み込み層ＣＬが、入力データ値ｉ２２、入力データ値ｉ２３、入力データ値ｉ３２、及び入力データ値ｉ３３に対してフィルタ処理を行うことにより、畳み込み層ＣＬから出力されるデータが有する畳み込み値Ｃ２２を取得する様子を示している。以上より、図４に示す畳み込み処理のストライドは１であるということができる。
【0102】
畳み込み値Ｃ１１、畳み込み値Ｃ１２、畳み込み値Ｃ２１、及び畳み込み値Ｃ２２は、それぞれ下式に示す積和演算により取得することができる。
【0103】
（数１）
Ｃ１１＝ｉ１１・ｆ１１＋ｉ１２・ｆ１２＋ｉ２１・ｆ２１＋ｉ２２・ｆ２２ （１）
Ｃ１１＝ｉ１１・ｆ１１＋ｉ１２・ｆ１２＋ｉ２１・ｆ２１＋ｉ２２・ｆ２２ （１）
【0104】
（数２）
Ｃ１２＝ｉ１２・ｆ１１＋ｉ１３・ｆ１２＋ｉ２２・ｆ２１＋ｉ２３・ｆ２２ （２）
Ｃ１２＝ｉ１２・ｆ１１＋ｉ１３・ｆ１２＋ｉ２２・ｆ２１＋ｉ２３・ｆ２２ （２）
【0105】
（数３）
Ｃ２１＝ｉ２１・ｆ１１＋ｉ２２・ｆ１２＋ｉ３１・ｆ２１＋ｉ３２・ｆ２２ （３）
Ｃ２１＝ｉ２１・ｆ１１＋ｉ２２・ｆ１２＋ｉ３１・ｆ２１＋ｉ３２・ｆ２２ （３）
【0106】
（数４）
Ｃ２２＝ｉ２２・ｆ１１＋ｉ２３・ｆ１２＋ｉ３２・ｆ２１＋ｉ３３・ｆ２２ （４）
Ｃ２２＝ｉ２２・ｆ１１＋ｉ２３・ｆ１２＋ｉ３２・ｆ２１＋ｉ３３・ｆ２２ （４）
【0107】
畳み込み層ＣＬが取得した畳み込み値Ｃ１１、畳み込み値Ｃ１２、畳み込み値Ｃ２１、及び畳み込み値Ｃ２２は、アドレスに従ってマトリクス状に配列された後、プーリング層ＰＬに出力される。具体的には、畳み込み値Ｃ１１は１行１列目に配置され、畳み込み値Ｃ１２は１行２列目に配置され、畳み込み値Ｃ２１は２行１列目に配置され、畳み込み値Ｃ２２は２行２列目に配置される。
【0108】
図４では、プーリング層ＰＬに畳み込み値Ｃ１１、畳み込み値Ｃ１２、畳み込み値Ｃ２１、及び畳み込み値Ｃ２２が入力され、当該４個の畳み込み値を基に１個の値をプーリング値Ｐとする様子を示している。例えば、畳み込み値Ｃ１１、畳み込み値Ｃ１２、畳み込み値Ｃ２１、及び畳み込み値Ｃ２２のうち、最大値をプーリング値Ｐとすることができる。又は、畳み込み値Ｃ１１、畳み込み値Ｃ１２、畳み込み値Ｃ２１、及び畳み込み値Ｃ２２の平均値をプーリング値Ｐとすることができる。プーリング値Ｐは、プーリング層ＰＬから出力される出力値となる。
【0109】
図４では、畳み込み層ＣＬに入力されるデータを１個の重みフィルタにより処理する例を示しているが、２個以上の重みフィルタにより処理してもよい。この場合、ニューラルネットワーク３０ａに入力された画像データに含まれる複数の特徴を抽出することができる。畳み込み層ＣＬに入力されるデータを２個以上の重みフィルタにより処理する場合、フィルタごとに図４に示す処理を行う。また、前述のように図４ではストライドは１としたが、ストライドを２以上としてもよい。
【0110】
【0111】
図５には、ニューロン３２を示している。具体的には、ニューロン３２として、ニューロン３２ａ、ニューロン３２ｂ、及びニューロン３２ｃを示している。図５において、ニューロン３２から出力される値を、当該ニューロン３２の内部に記載している。当該値は、矢印の方向に出力される。また、当該値に重み係数を乗ずる場合は、矢印の近傍に重み係数を記載している。図５では、フィルタ値ｆ１１、フィルタ値ｆ１２、フィルタ値ｆ２１、及びフィルタ値ｆ２２を重み係数としている。
【0112】
ニューロン３２ａは、図５に示す畳み込み層ＣＬの前の層である層Ｌが有するニューロン３２である。層Ｌは、例えば図５に示す畳み込み層ＣＬが畳み込み層ＣＬ［１］である場合は入力層とすることができ、畳み込み層ＣＬ［２］である場合はプーリング層ＰＬ［１］とすることができ、畳み込み層ＣＬ［ｍ］である場合はプーリング層ＰＬ［ｍ－１］とすることができる。
【0113】
図５では、ニューロン３２ａとして、ニューロン３２ａ［１］乃至ニューロン３２ａ［９］を示している。図５に示す場合において、ニューロン３２ａ［１］は入力データ値ｉ１１を出力し、ニューロン３２ａ［２］は入力データ値ｉ１２を出力し、ニューロン３２ａ［３］は入力データ値ｉ１３を出力し、ニューロン３２ａ［４］は入力データ値ｉ２１を出力し、ニューロン３２ａ［５］は入力データ値ｉ２２を出力し、ニューロン３２ａ［６］は入力データ値ｉ２３を出力し、ニューロン３２ａ［７］は入力データ値ｉ３１を出力し、ニューロン３２ａ［８］は入力データ値ｉ３２を出力し、ニューロン３２ａ［９］は入力データ値ｉ３３を出力する。
【0114】
【0115】
図５に示す場合において、ニューロン３２ｂ［１］には、入力データ値ｉ１１にフィルタ値ｆ１１を乗じた値と、入力データ値ｉ１２にフィルタ値ｆ１２を乗じた値と、入力データ値ｉ２１にフィルタ値ｆ２１を乗じた値と、入力データ値ｉ２２にフィルタ値ｆ２２を乗じた値と、が入力される。そして、これらの値の和である畳み込み値Ｃ１１が、ニューロン３２ｂ［１］から出力される。
【0116】
また、ニューロン３２ｂ［２］には、入力データ値ｉ１２にフィルタ値ｆ１１を乗じた値と、入力データ値ｉ１３にフィルタ値ｆ１２を乗じた値と、入力データ値ｉ２２にフィルタ値ｆ２１を乗じた値と、入力データ値ｉ２３にフィルタ値ｆ２２を乗じた値と、が入力される。そして、これらの値の和である畳み込み値Ｃ１２が、ニューロン３２ｂ［２］から出力される。
【0117】
また、ニューロン３２ｂ［３］には、入力データ値ｉ２１にフィルタ値ｆ１１を乗じた値と、入力データ値ｉ２２にフィルタ値ｆ１２を乗じた値と、入力データ値ｉ３１にフィルタ値ｆ２１を乗じた値と、入力データ値ｉ３２にフィルタ値ｆ２２を乗じた値と、が入力される。そして、これらの値の和である畳み込み値Ｃ２１が、ニューロン３２ｂ［３］から出力される。
【0118】
さらに、ニューロン３２ｂ［４］には、入力データ値ｉ２２にフィルタ値ｆ１１を乗じた値と、入力データ値ｉ２３にフィルタ値ｆ１２を乗じた値と、入力データ値ｉ３２にフィルタ値ｆ２１を乗じた値と、入力データ値ｉ３３にフィルタ値ｆ２２を乗じた値と、が入力される。そして、これらの値の和である畳み込み値Ｃ２２が、ニューロン３２ｂ［４］から出力される。
【0119】
図５に示すように、ニューロン３２ｂ［１］乃至ニューロン３２ｂ［４］のそれぞれは、ニューロン３２ａ［１］乃至ニューロン３２ａ［９］の一部と結合されている。よって、畳み込み層ＣＬは部分結合層であるということができる。
【0120】
ニューロン３２ｃは、図５に示すプーリング層ＰＬが有するニューロン３２である。図５に示す場合において、ニューロン３２ｃには、畳み込み値Ｃ１１、畳み込み値Ｃ１２、畳み込み値Ｃ２１、及び畳み込み値Ｃ２２が入力される。そして、プーリング値Ｐがニューロン３２ｃから出力される。なお、ニューロン３２ｂから出力される畳み込み値には、重み係数は乗じない。前述のように、重み係数は、ニューラルネットワークの学習によって最適化されるパラメータである。よって、プーリング層ＰＬが演算の際用いるパラメータには、学習によって最適化されるパラメータが存在しない構成とすることができる。
【0121】
以上より、データベース画像データＧＤＤＢをニューラルネットワーク３０に入力することにより、データベース画像データＧＤＤＢの特徴量を表すデータベース画像特徴量データＧＦＤＤＢを、処理部１３が取得することができる。例えば、図３Ａに示すように、層３１［ｍ］から出力されるデータを、データベース画像特徴量データＧＦＤＤＢとすることができる。又は、図３Ｂに示すように、プーリング層ＰＬ［ｍ］から出力されるデータを、データベース画像特徴量データＧＦＤＤＢとすることができる。なお、データベース画像特徴量データＧＦＤＤＢは、２層以上の出力データを含んでいてもよい。データベース画像特徴量データＧＦＤＤＢが多くの層の出力データを含むことにより、データベース画像特徴量データＧＦＤＤＢを、データベース画像データＧＤＤＢの特徴をより正確に表すものとすることができる。処理部１３が取得したデータベース画像特徴量データＧＦＤＤＢは、データベース１７に記憶することができる。
【0122】
［ステップＳ０３］
次に、データベース画像データＧＤＤＢに紐付けられるデータベースタグＴＡＧＤＢを、処理部１３が取得する。データベース画像データＧＤＤＢに対応する画像の概念、技術的内容、注目点等を表すタグがデータベースタグＴＡＧＤＢとなるように、データベースタグＴＡＧＤＢを取得することが好ましい。図６Ａは、データベースタグＴＡＧＤＢを取得する方法の一例を示す図である。なお、図６Ａに示す各データの図示は一例であり、これに限定されない。また、他の図で示す各データ、ベクトル等の図示も一例であり、図示する内容に限定されない。
次に、データベース画像データＧＤＤＢに紐付けられるデータベースタグＴＡＧＤＢを、処理部１３が取得する。データベース画像データＧＤＤＢに対応する画像の概念、技術的内容、注目点等を表すタグがデータベースタグＴＡＧＤＢとなるように、データベースタグＴＡＧＤＢを取得することが好ましい。図６Ａは、データベースタグＴＡＧＤＢを取得する方法の一例を示す図である。なお、図６Ａに示す各データの図示は一例であり、これに限定されない。また、他の図で示す各データ、ベクトル等の図示も一例であり、図示する内容に限定されない。
【0123】
本明細書等において、複数の要素に同じ符号を用いる場合、特にそれらを区別する必要があるときは、符号に［１］、［２］等、識別用の符号を付して記載する。
【0124】
図６Ａに示す方法では、一例として、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］のそれぞれに、タグを紐付けるとする。また、データベース画像データＧＤＤＢに対応する文書データＴＤＤＢが、データベース１７にあらかじめ記憶されているものとする。さらに、データベース画像データＧＤＤＢには、図番号が紐付けられているものとする。
【0125】
文書データＴＤＤＢは、例えばデータベース画像データＧＤＤＢが表す図面が掲載された特許文献、実用新案公報、意匠公報、及び論文等の刊行物に記載された文書に対応するデータとすることができる。例えば、データベース画像データＧＤＤＢが表す図面が掲載された刊行物が特許文献、又は実用新案公報である場合は、明細書に対応するデータを文書データＴＤＤＢとすることができる。又は、特許請求の範囲、実用新案登録請求の範囲、若しくは要約書に対応するデータを文書データＴＤＤＢとすることができる。また、データベース画像データＧＤＤＢが掲載された刊行物が意匠公報である場合は、願書に対応するデータを文書データＴＤＤＢとすることができる。
【0126】
例えば、文書データＴＤＤＢを明細書、又は論文等に対応するデータとする場合、データベースタグＴＡＧＤＢは、データベース画像データＧＤＤＢが表す図面を説明する段落に対して形態素解析を行うことにより取得することができる。図６Ａでは、データベース画像データＧＤＤＢ［１］に対応する画像の図番号が「図１」であり、データベース画像データＧＤＤＢ［１］に紐付けられた文書データＴＤＤＢ［１］が表す文書の段落［０ｘｘ０］に「図１は、」と記載されている例を示している。よって、例えば段落［０ｘｘ０］に、データベース画像データＧＤＤＢ［１］が表す図面の説明が記載されているとみなして、段落［０ｘｘ０］に記載されている文章に対して形態素解析を行うことにより、データベースタグＴＡＧＤＢ［１］を取得することができる。また、図６Ａでは、画像データＧＤＤＢ［１００］に対応する画像の図番号が「図１５」であり、データベース画像データＧＤＤＢ［１００］に紐付けられた文書データＴＤＤＢ［１００］が表す文書の段落［０ｘｘ７］に「図１５は、」と記載されている例を示している。よって、例えば段落［０ｘｘ７］に、データベース画像データＧＤＤＢ［１００］が表す図面の説明が記載されているとみなして、段落［０ｘｘ７］に記載されている文章に対して形態素解析を行うことにより、データベースタグＴＡＧＤＢ［１００］を取得することができる。
【0127】
なお、全ての文書データＴＤＤＢが異なるものでなくてもよい。例えば、データベース画像データＧＤＤＢ［１］が所定の刊行物の「図１」に対応し、データベース画像データＧＤＤＢ［２］が同一の刊行物の「図２」に対応する場合、文書データＴＤＤＢ［１］が表す文書と文書データＴＤＤＢ［２］が表す文書は同一のものとすることができる。
【0128】
形態素解析では、自然言語で書かれた文章を、形態素（言語として意味を持つ最小単位）に分割し、形態素の品詞等を判別することができる。これにより、例えば段落［０ｘｘ０］に記載された名詞のみを抽出し、データベースタグＴＡＧＤＢ［１］を取得することができる。図６Ａに示す場合では、「回路図」、「ａａａ」、「ｂｂｂ」、「ｃｃｃ」、「ｄｄｄ」等の単語が、データベースタグＴＡＧＤＢ［１］であるとしている。また、「ブロック図」、「ｇｇｇ」、「ａａａ」、「ｃｃｃ」、「ｈｈｈ」等の単語が、データベースタグＴＡＧＤＢ［１００］であるとしている。
【0129】
以上のように、データベースタグＴＡＧＤＢは、例えばデータベース画像データＧＤＤＢに紐付けられた文書データＴＤＤＢに対して形態素解析を行うことにより取得することができる。当該方法でデータベースタグＴＡＧＤＢを取得することにより、データベース画像データＧＤＤＢに対応する画像の概念、技術的内容、注目点等を表すタグを網羅的に取得することができる。
【0130】
本明細書等において、１つのタグは、例えば１つの単語を意味する。例えば、図６Ａに示す場合では、データベースタグＴＡＧＤＢ［１］の個数は５個以上とすることができる。また、データベースタグＴＡＧＤＢ［１００］の個数は５個以上とすることができる。
【0131】
なお、例えば形態素解析によって抽出された単語のすべてを、データベースタグＴＡＧＤＢとしなくてもよい。例えば、抽出された単語の中から、所定の個数の単語を抽出して、抽出した単語をデータベースタグＴＡＧＤＢとすることができる。例えば、抽出された単語の中から、ＴＦ－ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）が高い単語を所定の個数だけ抽出して、抽出した単語をデータベースタグＴＡＧＤＢとすることができる。データベース画像データＧＤＤＢに紐付けられるデータベースタグＴＡＧＤＢの個数を、複数のデータベース画像データＧＤＤＢのそれぞれに対して等しくすることにより、画像検索システム１０を用いた画像検索方法を簡便なものとすることができる。
【0132】
ＴＦ－ＩＤＦは、単語の出現頻度（ＴＦ）と逆文書頻度（ＩＤＦ）という２つの指標に基づいて算出される。よって、文書全体でよく出現する単語は、ＴＦは高いがＩＤＦが低くなる。したがって、データベースタグＴＡＧＤＢの候補となる単語を抽出した段落等での出現頻度が高く、他の段落等での出現頻度が低い単語より、ＴＦ－ＩＤＦが低くなる。例えば文書全体でよく出現する単語は、概念、技術的内容、注目点といった画像の特徴を、強く表す単語ではない可能性がある。よって、ＴＦ－ＩＤＦを用いてデータベースタグＴＡＧＤＢを取得すると、例えばＴＦのみを用いてデータベースタグＴＡＧＤＢを取得する場合より、データベース画像の特徴を強く表すデータベースタグＴＡＧＤＢを取得することができる。したがって、画像検索システム１０は高い精度で検索を行うことができる。なお、ＴＦ－ＩＤＦを算出せず、例えばＴＦのみを用いてデータベースタグＴＡＧＤＢを取得してもよい。この場合、処理部１３が行う計算を簡便なものとすることができる。
【0133】
なお、２段落以上の文章に対して形態素解析を行ってもよい。例えば、データベース画像データＧＤＤＢが表す図面の説明が記載されているとみなされた段落の他、当該段落の前後の段落に対しても形態素解析を行ってもよい。例えば、図６Ａに示す文書データＴＤＤＢ［１］に対して形態素解析を行う場合には、段落［０ｘｘ０］の他、次の段落である段落［０ｘｘ１］に対して形態素解析を行ってもよい。この場合、例えば段落［０ｘｘ１］に記載されている単語「ｅｅｅ」をデータベースタグＴＡＧＤＢ［１］とすることができる。また、例えば図６Ａに示す文書データＴＤＤＢ［１００］に対して形態素解析を行う場合には、段落［０ｘｘ７］の他、前の段落である段落［０ｘｘ６］に対して形態素解析を行ってもよい。この場合、例えば段落［０ｘｘ６］に記載されている単語「ｆｆｆ」をデータベースタグＴＡＧＤＢ［１００］とすることができる。
【0134】
又は、データベース画像データＧＤＤＢに紐付けられた図番号が記載されたすべての段落に対して形態素解析を行ってもよい。又は、データベース画像データＧＤＤＢに紐付けられた図番号が記載され、かつ他の図番号が記載されていない段落に対して形態素解析を行ってもよい。
【0135】
又は、所定の段落に記載された文章に含まれる、一部の文に対してのみ形態素解析を行ってもよい。例えば、図６Ａに示す場合では、段落［０ｘｘ０］に記載された文章のうち、「図１は、」を含む文に対してのみ、形態素解析を行ってもよい。この場合、単語「ｄｄｄ」は、データベースタグＴＡＧＤＢ［１］とはならない。
【0136】
なお、文書データＴＤＤＢが表す文書に記載されている単語そのものだけでなく、当該単語の類義語を、データベースタグＴＡＧＤＢとしてもよい。例えば、記憶部１５、又はデータベース１７にあらかじめ類義語辞書データを記憶させておき、形態素解析によって抽出された単語と、当該単語の類義語として類義語辞書に登録されている単語と、をデータベースタグＴＡＧＤＢとすることができる。ここで言う類義語としては、一般に入手可能な類義語辞書を用いてもよいが、単語の分散表現を用いて抽出した類義語を用いてもよい。また、分散表現を用いた類義語の抽出は、検索対象の文書が属する分野の、他の文書を含むデータベースを用いて行ってもよい。
【0137】
文書データＴＤＤＢが表す文書に記載されている単語そのものだけでなく、当該単語の類義語をデータベースタグＴＡＧＤＢとすることにより、データベースタグＴＡＧＤＢを、データベース画像データＧＤＤＢの概念、技術的内容、注目点といった特徴を強く表すものとすることができる。
【0138】
なお、形態素解析を用いずにデータベースタグＴＡＧＤＢを取得してもよい。例えば、データベース画像特徴量データＧＦＤＤＢを基に、データベースタグＴＡＧＤＢを取得してもよい。
【0139】
図６Ｂは、データベース画像データＧＤＤＢに図番号を紐付ける方法の一例を示す図である。図６Ｂでは、刊行物データＰＤに、画像データＧＤＤＢ［１］及び画像データＧＤＤＢ［２］、並びに文書データＴＤＤＢが含まれているとする。また、刊行物データＰＤが表す刊行物には、テキスト「図１ ｘｘｘ」と、テキスト「図２ ｙｙｙ」が記載されているとする。なお、テキスト「図１ ｘｘｘ」を表すデータと、テキスト「図２ ｙｙｙ」を表すデータは、文書データＴＤＤＢには含まれないとする。また、図６Ｂに示す「ｘ１」、「ｘ２」、「ｘ１＜ｘ２」、及び破線、矢印等は、説明の便宜のために付したものであり、実際には刊行物データＰＤが表す刊行物に記載されていないものとする。
【0140】
図６Ｂに示す方法では、例えば図面から所定の距離以内にテキスト「図Ｎ」が記載されていた場合、テキスト「図Ｎ」と最も近い距離に設けられた図面の図番号を「Ｎ」とすることができる。ここで、例えばテキストの中心を表す座標（中心座標）と、図面の中心座標と、の間の距離を、テキストから図面までの距離とすることができる。なお、「Ｎ」は整数に限らず、例えば文字を含んでいてもよい。例えば、Ｎが「１（Ａ）」であってもよい。
【0141】
図６Ｂに示す場合では、テキスト「図１ ｘｘｘ」の中心座標と、データベース画像データＧＤＤＢ［１］に対応する図面の中心座標と、の間の距離ｘ１は、テキスト「図１ ｘｘｘ」の中心座標と、データベース画像データＧＤＤＢ［２］に対応する図面の中心座標と、の間の距離ｘ２より短い。よって、テキスト「図１ ｘｘｘ」と最も近い距離に設けられた図面は、データベース画像データＧＤＤＢ［１］であるということができる。よって、データベース画像データＧＤＤＢ［１］に紐付けられる図番号は「１」とすることができる。
【0142】
また、図６Ｂでは、文書データＴＤＤＢが表す文書の段落［０ｚｚ３］に「図１は、」と記載され、段落［０ｚｚ４］に「図２は、」と記載されている例を示している。以上より、図６Ｂに示す場合では、データベース画像データＧＤＤＢ［１］に紐付けられるデータベースタグＴＡＧＤＢ［１］は、例えば段落［０ｚｚ３］に記載されている文章に対して形態素解析を行うことにより取得することができる。図６Ｂでは、段落［０ｚｚ３］に記載されている、「ブロック図」、「ｉｉｉ」、「ｋｋｋ」、「ｈｈｈ」、「ｐｐｐ」等の単語が、データベースタグＴＡＧＤＢ［１］であるとしている。
【0143】
なお、例えば全ての図面の中心座標を並べて第１の１次元配列とし、例えば全てのテキスト「図Ｎ」の中心座標を並べて第２の１次元配列としてもよい。そして、第１の１次元配列に含まれる座標と、第２の１次元配列に含まれる座標と、を比較して、各図面に対して、最も近い座標に記載されているテキスト「図Ｎ」を紐付けてもよい。つまり、テキスト「図Ｎ」の位置を表す座標と最も近い座標に位置する図面の図番号を「Ｎ」とすることができる。第１の１次元配列に含まれる座標と、第２の１次元配列に含まれる座標と、の比較は、例えばｘ座標の差の２乗と、ｙ座標の差の２乗と、の和を算出することにより行うことができる。当該方法により比較を行う場合、例えば上記和の値が最も小さい要素を、最も近い座標に位置する要素とすることができる。
【0144】
以上の方法により、処理部１３がデータベースタグＴＡＧＤＢを取得することができる。処理部１３が取得したデータベースタグＴＡＧＤＢは、データベース１７に記憶することができる。
【0145】
［ステップＳ０４］
次に、データベースタグＴＡＧＤＢをベクトルにより表す。データベースタグＴＡＧＤＢを表すベクトルを、データベースタグベクトルＴＡＧＶＤＢと呼ぶ。図７Ａは、図６Ａに示すデータベースタグＴＡＧＤＢが、ベクトルにより表現されている様子を示す図である。
次に、データベースタグＴＡＧＤＢをベクトルにより表す。データベースタグＴＡＧＤＢを表すベクトルを、データベースタグベクトルＴＡＧＶＤＢと呼ぶ。図７Ａは、図６Ａに示すデータベースタグＴＡＧＤＢが、ベクトルにより表現されている様子を示す図である。
【0146】
データベースタグベクトルＴＡＧＶＤＢは、データベースタグＴＡＧＤＢを、例えば処理部１３が有するニューラルネットワークに入力することにより取得することができる。この場合、データベースタグベクトルＴＡＧＶＤＢは、例えば分散表現ベクトルとすることができる。分散表現ベクトルとは、単語を、各特徴要素（次元）に対して、定量化した連続値で表現したベクトルである。意味の近い単語同士は、ベクトルも近くなる。
【0147】
分散表現ベクトルを取得するために用いるニューラルネットワークは、前述の画像特徴量データを取得するために用いるニューラルネットワークとは異なる構成とすることができる。図７Ｂは、分散表現ベクトルを取得するために用いるニューラルネットワークである、ニューラルネットワーク４０の構成例を示す図である。
【0148】
本明細書等において、例えば画像特徴量データを取得するために用いるニューラルネットワークを第１のニューラルネットワークと呼び、分散表現ベクトルを取得するために用いるニューラルネットワークを第２のニューラルネットワークと呼ぶ場合がある。なお、序数はあくまで一例であり、例えば分散表現ベクトルを取得するために用いるニューラルネットワークを第１のニューラルネットワークと呼び、画像特徴量データを取得するために用いるニューラルネットワークを第２のニューラルネットワークと呼んでもよい。また、例えば画像特徴量データを取得するために用いるニューラルネットワークを第３のニューラルネットワーク等と呼んでもよいし、例えば分散表現ベクトルを取得するために用いるニューラルネットワークを第３のニューラルネットワーク等と呼んでもよい。
【0149】
図７Ｂに示すように、ニューラルネットワーク４０は、入力層ＩＬと、中間層ＭＬと、出力層ＯＬと、を有する。ここで、ニューラルネットワーク４０は、中間層ＭＬを１層有する構成とすることができる。ニューラルネットワーク４０は、入力層ＩＬに入力された単語を表す分散表現ベクトルを、例えばオープンソース化されているアルゴリズムであるＷｏｒｄ２Ｖｅｃを用いて取得することができる。以下では、図７Ｂに示す構成のニューラルネットワーク４０が、入力層ＩＬに入力されたデータベースタグＴＡＧＤＢを表すデータベースタグベクトルＴＡＧＶＤＢを取得する方法の一例を説明する。
【0150】
入力層ＩＬには、データベースタグＴＡＧＤＢをｏｎｅ－ｈｏｔベクトルで表したベクトルが入力される。ここで、ｏｎｅ－ｈｏｔベクトルは、１成分が１単語を表し、入力層ＩＬに入力する単語に対応する成分を１、他の成分を０とすることができる。つまり、ｏｎｅ－ｈｏｔベクトルは、１つの成分が１で、他の成分がすべて０であるベクトルということができる。入力層ＩＬが有するニューロンの個数は、当該ｏｎｅ－ｈｏｔベクトルを構成する成分の数と同数とすることができる。
【0151】
中間層ＭＬは、入力層ＩＬに入力されたｏｎｅ－ｈｏｔベクトルを基にして、分散表現ベクトルを生成する機能を有する。例えば、ｏｎｅ－ｈｏｔベクトルに、所定の重みを乗じることにより、中間層ＭＬは分散表現ベクトルを生成することができる。当該重みは、行列により表すことができるので、ｏｎｅ－ｈｏｔベクトルと、重み行列と、の間で積和演算を行うことにより、ニューラルネットワーク４０は分散表現ベクトルを生成することができる。
【0152】
なお、中間層ＭＬが有するニューロンの個数は、分散表現ベクトルの次元数と同数とすることができる。例えば、分散表現ベクトルの次元数が３００である場合は、中間層ＭＬは３００個のニューロンを有する構成とすることができる。
【0153】
上記重み行列は、学習、例えば教師あり学習によって取得することができる。具体的には、ある単語をｏｎｅ－ｈｏｔベクトルで表したものを入力層ＩＬに入力し、入力層ＩＬに入力した単語の周辺語をｏｎｅ－ｈｏｔベクトルで表したものを出力層ＯＬに入力する。ここで、入力層ＩＬに入力する単語１つあたり、複数の周辺語を出力層ＯＬに入力する。そして、出力層ＯＬが、入力層ＩＬに入力した単語の周辺語となる確率を出力できるようになるように、ニューラルネットワーク４０の重み行列の値を調整する。なお、例えば出力層ＯＬが有するニューロン１つは１単語に対応する。以上がニューラルネットワーク４０の学習方法の一例である。
【0154】
以上のように、入力層ＩＬ、及び出力層ＯＬのいずれも、ニューロン１つを１単語に対応させることができる。よって、入力層ＩＬが有するニューロンの個数と、出力層ＯＬが有するニューロンの個数と、は同数とすることができる。
【0155】
また、中間層ＭＬが有するニューロンの個数は、入力層ＩＬが有するニューロンの個数より少なくすることができる。例えば、ニューラルネットワーク４０により処理を行うことができる単語数、つまり入力層ＩＬが有するニューロンの個数を１００００個とし、分散表現ベクトルの次元数、つまり中間層ＭＬが有するニューロンの個数を３００個とすることができる。よって、分散表現では、表現可能な単語数が増えても次元数を少ないままとすることができるので、表現可能な単語数が増えても計算量が増加しにくい。よって、画像検索システム１０は短時間で検索を行うことができる。
【0156】
以上の方法により、処理部１３がデータベースタグベクトルＴＡＧＶＤＢを取得することができる。処理部１３が取得したデータベースタグベクトルＴＡＧＶＤＢは、データベース１７に記憶することができる。
【0157】
以上、ステップＳ０１乃至ステップＳ０４により、処理部１３がデータベース画像特徴量データＧＦＤＤＢ、データベースタグＴＡＧＤＢ、及びデータベースタグベクトルＴＡＧＶＤＢを取得し、データベース１７に記憶される。これにより、画像検索システム１０がクエリ画像と類似するデータベース画像を検索できるようにすることができる。なお、データベースタグＴＡＧＤＢは、データベース１７に記憶しなくてもよい。
【0158】
図２に示す方法では、ステップＳ０１及びステップＳ０２により処理部１３がデータベース画像特徴量データＧＦＤＤＢを取得した後、ステップＳ０３及びステップＳ０４により処理部１３がデータベースタグＴＡＧＤＢ、及びデータベースタグベクトルＴＡＧＶＤＢを取得しているが、本発明の一態様はこれに限らない。例えば、処理部１３がデータベースタグＴＡＧＤＢ、及びデータベースタグベクトルＴＡＧＶＤＢを取得した後、データベース画像特徴量データＧＦＤＤＢを取得してもよい。
【0159】
また、図２に示す方法では、データベースタグＴＡＧＤＢをニューラルネットワーク４０に入力することによりニューラルネットワーク４０から出力されたベクトルそのものを、データベースタグベクトルＴＡＧＶＤＢとしているが、本発明の一態様はこれに限らない。以下では、データベースタグベクトルＴＡＧＶＤＢの取得方法の変形例を説明する。
【0160】
【0161】
次に、取得した単語をベクトルにより表す。例えば、取得した単語をニューラルネットワーク４０に入力することにより、分散表現ベクトルで表すことができる。
【0162】
その後、分散表現ベクトルに対してクラスタリングを行うことにより、所定の個数のクラスタを生成する。例えば、取得したいデータベースタグＴＡＧＤＢの個数と同数のクラスタを生成する。クラスタリングは、Ｋ－ｍｅａｎｓ法、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ）法等により行うことができる。
【0163】
図８Ａでは、データベース画像データＧＤＤＢ［１］に紐付けられるタグの候補として、２０個の単語が処理部１３により取得され、これらの単語がそれぞれデータベース単語ベクトルＷＯＲＤＶＤＢで表される例を示している。また、図８Ａでは、２０個のデータベース単語ベクトルＷＯＲＤＶＤＢを基にして、５個のクラスタ（クラスタＣＳＴ１、クラスタＣＳＴ２、クラスタＣＳＴ３、クラスタＣＳＴ４、及びクラスタＣＳＴ５）を生成する例を示している。なお、説明の便宜のため、図８Ａに示すベクトルは２次元のベクトルとして、横軸方向が２次元のベクトルの一方の成分、縦軸方向が２次元のベクトルの他方の成分を表しているが、実際にはデータベース単語ベクトルＷＯＲＤＶＤＢ等は例えば３００次元のベクトルとすることができる。
【0164】
次に、クラスタＣＳＴ１乃至クラスタＣＳＴ５のそれぞれについて、代表点を表すベクトルを求める。そして、当該代表点を表すベクトルを、データベースタグベクトルＴＡＧＶＤＢ［１］とすることができる。図８Ａでは、クラスタＣＳＴ１の代表点を表すベクトルをデータベースタグベクトルＴＡＧＶ１ＤＢ［１］とし、クラスタＣＳＴ２の代表点を表すベクトルをデータベースタグベクトルＴＡＧＶ２ＤＢ［１］とし、クラスタＣＳＴ３の代表点を表すベクトルをデータベースタグベクトルＴＡＧＶ３ＤＢ［１］とし、クラスタＣＳＴ４の代表点を表すベクトルをデータベースタグベクトルＴＡＧＶ４ＤＢ［１］とし、クラスタＣＳＴ５の代表点を表すベクトルをデータベースタグベクトルＴＡＧＶ５ＤＢ［１］とする例を示している。
【0165】
上記代表点を表すベクトルの各成分は、例えば、クラスタに含まれるデータベース単語ベクトルＷＯＲＤＶＤＢの各成分の平均値とすることができる。例えば、あるクラスタに、（０．１，０．７）、（０．２，０．５）、（０．３，０．５）、（０．４，０．２）、（０．５，０．１）という５つのデータベース単語ベクトルＷＯＲＤＶＤＢが含まれている場合、当該クラスタの代表点を表すベクトルは、例えば（０．３，０．４）とすることができる。以上の手順により、処理部１３がデータベースタグベクトルＴＡＧＶＤＢ［１］を取得することができる。
【0166】
データベースタグベクトルＴＡＧＶＤＢ［２］以降も、同様の方法により取得することができる。図８Ｂは、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］のそれぞれについて、データベースタグベクトルＴＡＧＶＤＢを５個ずつ（データベースタグベクトルＴＡＧＶ１ＤＢ、データベースタグベクトルＴＡＧＶ２ＤＢ、データベースタグベクトルＴＡＧＶ３ＤＢ、データベースタグベクトルＴＡＧＶ４ＤＢ、及びデータベースタグベクトルＴＡＧＶ５ＤＢ）取得する場合の、各ベクトルの成分を示す表である。なお、図８Ｂに示す成分は、説明の便宜のための一例である。
【0167】
図８Ｂに示すように、データベースタグベクトルＴＡＧＶＤＢには、重み付けをすることができる。当該重みは、例えば１つのクラスタに含まれるデータベース単語ベクトルＷＯＲＤＶＤＢの個数を、データベース画像データＧＤＤＢに紐付けられるタグの候補として処理部１３が取得した単語の合計数で割った値とすることができる。例えば、図８Ａ、及び図８Ｂでは、データベース画像データＧＤＤＢ［１］に紐付けられるタグの候補として、２０個の単語を処理部１３が取得した例を示している。また、クラスタＣＳＴ１には８個のデータベース単語ベクトルＷＯＲＤＶＤＢが含まれ、クラスタＣＳＴ２には４個のデータベース単語ベクトルＷＯＲＤＶＤＢが含まれ、クラスタＣＳＴ３には２個のデータベース単語ベクトルＷＯＲＤＶＤＢが含まれ、クラスタＣＳＴ４には３個のデータベース単語ベクトルＷＯＲＤＶＤＢが含まれ、クラスタＣＳＴ５には３個のデータベース単語ベクトルＷＯＲＤＶＤＢが含まれる例を示している。よって、図８Ｂに示すように、例えばデータベース画像データＧＤＤＢ［１］については、クラスタＣＳＴ１に含まれるデータベースタグベクトルＴＡＧＶ１ＤＢ［１］の重みを８／２０、クラスタＣＳＴ２に含まれるデータベースタグベクトルＴＡＧＶ２ＤＢ［１］の重みを４／２０、クラスタＣＳＴ３に含まれるデータベースタグベクトルＴＡＧＶ３ＤＢ［１］の重みを２／２０、クラスタＣＳＴ４に含まれるデータベースタグベクトルＴＡＧＶ４ＤＢ［１］の重みを３／２０、クラスタＣＳＴ５に含まれるデータベースタグベクトルＴＡＧＶ５ＤＢ［１］の重みを３／２０とすることができる。
【0168】
上記の方法により、例えばデータベース画像データＧＤＤＢの概念、技術的内容、注目点といった特徴を強く表すタグベクトルの重みを大きくすることができる。これにより、画像検索システム１０は高い精度で検索を行うことができる。
【0169】
次に、画像検索システム１０を用いた画像検索方法について説明する。図９は、当該処理の方法の一例を示すフローチャートである。
【0170】
［ステップＳ１１］
まず、画像検索システム１０の使用者が、入力部１１にクエリ画像データＧＤＱを入力する。クエリ画像データＧＤＱは、入力部１１から、伝送路１２を介して処理部１３に供給される。又は、クエリ画像データＧＤＱは、伝送路１２を介して記憶部１５又はデータベース１７に保存され、記憶部１５又はデータベース１７から伝送路１２を介して処理部１３に供給されてもよい。
まず、画像検索システム１０の使用者が、入力部１１にクエリ画像データＧＤＱを入力する。クエリ画像データＧＤＱは、入力部１１から、伝送路１２を介して処理部１３に供給される。又は、クエリ画像データＧＤＱは、伝送路１２を介して記憶部１５又はデータベース１７に保存され、記憶部１５又はデータベース１７から伝送路１２を介して処理部１３に供給されてもよい。
【0171】
クエリ画像データＧＤＱは、例えば、出願前の発明、考案もしくは意匠、発売前の工業製品、技術情報、又は技術的思想を説明する画像等を有することができる。
【0172】
［ステップＳ１２］
次に、クエリ画像データＧＤＱを、処理部１３が有するニューラルネットワークに入力する。例えば、図３Ａ又は図３Ｂに示す構成のニューラルネットワーク３０に、クエリ画像データＧＤＱを入力することができる。これにより、処理部１３が、クエリ画像データＧＤＱの特徴量を表すクエリ画像特徴量データＧＦＤＱを取得することができる。例えば、図３Ａに示す層３１［ｍ］から出力されるデータを、クエリ画像特徴量データＧＦＤＱとすることができる。又は、図３Ｂに示すプーリング層ＰＬ［ｍ］から出力されるデータを、クエリ画像特徴量データＧＦＤＱとすることができる。なお、クエリ画像特徴量データＧＦＤＱは、データベース画像特徴量データＧＦＤＤＢと同様に、２層以上の出力データを含んでいてもよい。クエリ画像特徴量データＧＦＤＱが多くの層の出力データを含むことにより、クエリ画像特徴量データＧＦＤＱを、クエリ画像データＧＤＱの特徴をより正確に表すものとすることができる。
次に、クエリ画像データＧＤＱを、処理部１３が有するニューラルネットワークに入力する。例えば、図３Ａ又は図３Ｂに示す構成のニューラルネットワーク３０に、クエリ画像データＧＤＱを入力することができる。これにより、処理部１３が、クエリ画像データＧＤＱの特徴量を表すクエリ画像特徴量データＧＦＤＱを取得することができる。例えば、図３Ａに示す層３１［ｍ］から出力されるデータを、クエリ画像特徴量データＧＦＤＱとすることができる。又は、図３Ｂに示すプーリング層ＰＬ［ｍ］から出力されるデータを、クエリ画像特徴量データＧＦＤＱとすることができる。なお、クエリ画像特徴量データＧＦＤＱは、データベース画像特徴量データＧＦＤＤＢと同様に、２層以上の出力データを含んでいてもよい。クエリ画像特徴量データＧＦＤＱが多くの層の出力データを含むことにより、クエリ画像特徴量データＧＦＤＱを、クエリ画像データＧＤＱの特徴をより正確に表すものとすることができる。
【0173】
［ステップＳ１３］
次に、データベース画像データＧＤＤＢの、クエリ画像データＧＤＱに対する類似度を処理部１３が算出する。
次に、データベース画像データＧＤＤＢの、クエリ画像データＧＤＱに対する類似度を処理部１３が算出する。
【0174】
図１０は、データベース画像データＧＤＤＢの、クエリ画像データＧＤＱに対する類似度の算出について示す図である。図１０では、一例として、１つのクエリ画像データＧＤＱと、１００個のデータベース画像データＧＤＤＢと、が図３Ｂに示すニューラルネットワーク３０ａに入力される例を示している。また、図１０では、クエリ画像特徴量データＧＦＤＱ、及びデータベース画像特徴量データＧＦＤＤＢが、それぞれｘ行ｙ列（ｘ、ｙは１以上の整数）のプーリング値Ｐを有する例を示している。
【0175】
本明細書等において、クエリ画像特徴量データＧＦＤＱが有するプーリング値をプーリング値ＰＱと記載し、データベース画像特徴量データＧＦＤＤＢが有するプーリング値をプーリング値ＰＤＢと記載する。また、例えばデータベース画像特徴量データＧＦＤＤＢ［１］が有するプーリング値をプーリング値Ｐ１ＤＢと記載し、データベース画像特徴量データＧＦＤＤＢ［１００］が有するプーリング値をプーリング値Ｐ１００ＤＢと記載する。
【0176】
図１０に示す場合では、データベース画像特徴量データＧＦＤＤＢ［１］乃至データベース画像特徴量データＧＦＤＤＢ［１００］のそれぞれについて、クエリ画像特徴量データＧＦＤＱに対する類似度が算出される。そして、当該類似度を、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］の、クエリ画像データＧＤＱに対する類似度とすることができる。なお、データベース１７に記憶されている全てのデータベース画像特徴量データＧＦＤＤＢについて、クエリ画像特徴量データＧＦＤＱに対する類似度を算出してもよい。又は、データベース１７に記憶されているデータベース画像特徴量データＧＦＤＤＢの一部について、クエリ画像特徴量データＧＦＤＱに対する類似度を算出してもよい。
【0177】
上記類似度は、例えばコサイン類似度とすることが好ましい。又は、ユークリッド類似度、ミンコフスキー類似度としてもよい。例えば、データベース画像特徴量データＧＦＤＤＢ［１］の、クエリ画像特徴量データＧＦＤＱに対するコサイン類似度は、以下の式で算出することができる。コサイン類似度の値が大きいほど、データベース画像データＧＤＤＢがクエリ画像データＧＤＱに類似しているといえる。
【0178】
（数５）
【0179】
データベース画像特徴量データＧＦＤＤＢ［２］乃至データベース画像特徴量データＧＦＤＤＢ［１００］の、クエリ画像特徴量データＧＦＤＱに対するコサイン類似度も同様の方法で算出することができる。以上により、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］の、クエリ画像データＧＤＱに対する類似度を算出することができる。
【0180】
類似度としてコサイン類似度を算出することにより、画像検索システム１０は高い精度で検索を行うことができる。また、コサイン類似度は、簡便な計算で算出することができる。よって、処理部１３がＧＰＵを有する場合、類似度をＧＰＵで求めることができる。したがって、類似度を短時間で算出することができ、画像検索システム１０は短時間で検索を行うことができる。
【0181】
［ステップＳ１４］
次に、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度の算出結果に基づき、クエリ画像データＧＤＱに紐付けられるタグであるクエリタグＴＡＧＱを処理部１３が取得する。
次に、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度の算出結果に基づき、クエリ画像データＧＤＱに紐付けられるタグであるクエリタグＴＡＧＱを処理部１３が取得する。
【0182】
図１１Ａ、及び図１１Ｂは、クエリタグＴＡＧＱの取得方法の一例を示す図である。まず、図１１Ａに示すように、ステップＳ１３で算出した類似度に基づき、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］を並び替える。例えば、最もクエリ画像データＧＤＱに対する類似度が高いデータベース画像データＧＤＤＢから降順で並び替える。図１１Ａに示す場合では、データベース画像データＧＤＤＢ［２］の類似度が０．９９９で最も高く、データベース画像データＧＤＤＢ［３１］の類似度が０．９７１で２番目に高く、データベース画像データＧＤＤＢ［７３］の類似度が０．９６４で３番目に高く、データベース画像データＧＤＤＢ［５２］の類似度が０．９５１で４番目に高く、データベース画像データＧＤＤＢ［２８］の類似度が０．９３７で５番目に高いとしている。
【0183】
次に、類似度が高いデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢを抽出する。図１１Ａに示す場合では、類似度が１乃至５番目に高いデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢを抽出している。具体的には、データベース画像データＧＤＤＢ［２］に紐付けられているタグ「ａａａ」、「ｂｂｂ」、「ｃｃｃ」、「ｄｄｄ」、及び「ｅｅｅ」と、データベース画像データＧＤＤＢ［３１］に紐付けられているタグ「ａａａ」、「ｃｃｃ」、「ｆｆｆ」、「ｇｇｇ」、及び「ｈｈｈ」と、データベース画像データＧＤＤＢ［７３］に紐付けられているタグ「ａａａ」、「ｂｂｂ」、「ｆｆｆ」、「ｉｉｉ」、及び「ｋｋｋ」と、データベース画像データＧＤＤＢ［５２］に紐付けられているタグ「ａａａ」、「ｃｃｃ」、「ｇｇｇ」、「ｐｐｐ」、及び「ｑｑｑ」と、データベース画像データＧＤＤＢ［２８］に紐付けられているタグ「ａａａ」、「ｋｋｋ」、「ｒｒｒ」、「ｓｓｓ」、及び「ｔｔｔ」と、を抽出している。図１１Ａに示すように、抽出するタグは重複していてもよい。
【0184】
なお、上記では、データベースタグＴＡＧＤＢを抽出するデータベース画像データＧＤＤＢの個数を、所定の個数に定めているが、本発明の一態様はこれに限らない。例えば、類似度が所定の値以上のデータベース画像データＧＤＤＢに紐付けられたデータベースタグを抽出してもよい。つまり、データベースタグＴＡＧＤＢを抽出するデータベース画像データＧＤＤＢの個数を、固定しなくてもよい。
【0185】
その後、図１１Ｂに示すように、抽出したタグのそれぞれについて、出現回数を算出する。例えば、タグ「ａａａ」は、データベース画像データＧＤＤＢ［２］、データベース画像データＧＤＤＢ［３１］、データベース画像データＧＤＤＢ［７３］、データベース画像データＧＤＤＢ［５２］、及びデータベース画像データＧＤＤＢ［２８］のいずれにも紐付けられているため、出現回数は５となる。タグ「ｄｄｄ」は、データベース画像データＧＤＤＢ［２］、データベース画像データＧＤＤＢ［３１］、データベース画像データＧＤＤＢ［７３］、データベース画像データＧＤＤＢ［５２］、及びデータベース画像データＧＤＤＢ［２８］の中では、データベース画像データＧＤＤＢ［２］のみに紐付けられているため、出現回数は１となる。
【0186】
次に、図１１Ｂに示すように、例えば出現回数が最も多いタグから順に、所定の個数のタグをさらに抽出し、当該抽出したタグをクエリタグＴＡＧＱとする。図１１Ｂに示す場合では、出現回数が最も多いタグから順に、クエリタグＴＡＧＱとして５個タグを抽出している。具体的には、出現回数が５回で最も多いタグ「ａａａ」と、出現回数が３回で２番目に多いタグ「ｃｃｃ」と、を抽出している。
【0187】
出現回数が同一のタグが複数存在するが、当該複数のタグをすべて抽出することができない場合、例えばより類似度が高いデータベース画像データＧＤＤＢに紐付けられたタグを抽出することができる。例えば、データベース画像データＧＤＤＢの類似度の順位を数値で表す。そして、出現回数が同一のタグ同士で、紐付けられたデータベース画像データＧＤＤＢの類似度の順位を表す数値の合計を比較し、合計値が小さいタグから順に抽出することができる。
【0188】
図１１Ｂに示す場合では、クエリタグＴＡＧＱの個数を５個とし、タグ「ａａａ」の出現回数を５、タグ「ｃｃｃ」の出現回数を３としている。したがって、出現回数が２以下のタグから３個のタグを抽出する必要がある。しかしながら、出現回数が２のタグは、「ｂｂｂ」、「ｆｆｆ」、「ｇｇｇ」、及び「ｋｋｋ」の４個である。よって、当該４個のタグの中から、３個のタグを選ぶ必要がある。ここで、タグ「ｂｂｂ」が紐付けられているデータベース画像データＧＤＤＢ［２］の類似度の順位は１で、データベース画像データＧＤＤＢ［７３］の類似度の順位は３である。よって、タグ「ｂｂｂ」に係る類似度の順位の合計は４となる。同様に、タグ「ｆｆｆ」に係る類似度の順位の合計は５となり、タグ「ｇｇｇ」に係る類似度の順位の合計は６となり、タグ「ｋｋｋ」に係る類似度の順位の合計は８となる。以上より、出現回数が２のタグに係る類似度の順位の合計値が最も小さいタグはタグ「ｂｂｂ」であり、昇順にタグ「ｆｆｆ」、「ｇｇｇ」、「ｋｋｋ」となる。よって、タグ「ｂｂｂ」、「ｆｆｆ」、及び「ｇｇｇ」をクエリタグＴＡＧＱとすることができる。
【0189】
以上まとめると、図１１Ｂに示す場合では、出現回数が５のタグ「ａａａ」と、出現回数が３のタグ「ｃｃｃ」と、出現回数が２のタグのうち、類似度の順位の合計が１乃至３番目に小さいタグ「ｂｂｂ」、「ｆｆｆ」、及び「ｇｇｇ」と、をクエリタグＴＡＧＱとすることができる。
【0190】
なお、データベースタグＴＡＧＤＢに含まれる単語そのものだけでなく、データベースタグＴＡＧＤＢに含まれる単語の類義語を、クエリタグＴＡＧＱに含めてもよい。例えば、記憶部１５、又はデータベース１７にあらかじめ類義語辞書データを記憶させておき、データベースタグＴＡＧＤＢに含まれる単語と、当該単語の類義語として類義語辞書に登録されている単語と、をクエリタグＴＡＧＱに含めることができる。
【0191】
図１１Ｂに示す場合では、抽出したデータベースタグＴＡＧＤＢの中から、処理部１３がクエリタグＴＡＧＱを自動で選択しているが、本発明の一態様はこれに限らない。例えば、画像検索システム１０の使用者に抽出したデータベースタグＴＡＧＤＢを提示し、提示されたタグの中からクエリタグＴＡＧＱとするタグを、画像検索システム１０の使用者が選択してもよい。又は、例えば類似度が高いデータベース画像を画像検索システム１０の使用者に提示し、提示されたデータベース画像を画像検索システム１０の使用者に選択させてもよい。そして、選択されたデータベース画像を表すデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢの全部又は一部を、クエリタグＴＡＧＱとしてもよい。
【0192】
図１１Ａ、及び図１１Ｂに示す方法では、クエリタグＴＡＧＱを、データベースタグＴＡＧＤＢの中から選択しているが、本発明の一態様はこれに限らない。例えば、データベースタグＴＡＧＤＢを基に新たなタグを生成し、当該タグをクエリタグＴＡＧＱとしてもよい。以下では、データベースタグＴＡＧＤＢを表すデータベースタグベクトルＴＡＧＶＤＢを用いて、クエリタグＴＡＧＱを表すクエリタグベクトルＴＡＧＶＱを処理部１３が取得する方法の一例を説明する。
【0193】
図１１Ａで説明した方法は、以下で説明する方法でクエリタグベクトルＴＡＧＶＱを取得する場合においても適用することができる。つまり、データベースタグＴＡＧＤＢの抽出は、図１１Ａに示す方法と同様の方法で行うことができる。
【0194】
データベースタグＴＡＧＤＢの抽出後、抽出したデータベースタグＴＡＧＤＢを表すデータベースタグベクトルＴＡＧＶＤＢに対してクラスタリングを行うことにより、所定の個数のクラスタを生成する。例えば、取得したいクエリタグＴＡＧＱの個数と同数のクラスタを生成する。クラスタリングは、Ｋ－ｍｅａｎｓ法、ＤＢＳＣＡＮ法等により行うことができる。
【0195】
図１２Ａでは、図１１Ａに示す２５個のデータベースタグＴＡＧＤＢが処理部１３により取得される例を示している。また、図１２Ａでは、図１１Ａに示すデータベースタグＴＡＧＤＢに対応するデータベースタグベクトルＴＡＧＶＤＢを基にして、５個のクラスタ（クラスタＣＳＴ１、クラスタＣＳＴ２、クラスタＣＳＴ３、クラスタＣＳＴ４、及びクラスタＣＳＴ５）を生成する例を示している。なお、説明の便宜のため、図１２Ａに示すベクトルは２次元のベクトルとして、横軸方向が２次元のベクトルの一方の成分、縦軸方向が２次元のベクトルの他方の成分を表しているが、実際には例えば３００次元のベクトルとすることができる。また、図１２Ａに示す括弧内の数字は、抽出したデータベースタグＴＡＧＤＢの出現回数を示している。例えば、「ａａａ（５）」は、タグ「ａａａ」の出現回数が５であることを示している。
【0196】
次に、クラスタＣＳＴ１乃至クラスタＣＳＴ５のそれぞれについて、代表点を表すベクトルを求める。そして、当該代表点を表すベクトルを、クエリタグベクトルＴＡＧＶＱとすることができる。図１２Ａでは、クラスタＣＳＴ１の代表点を表すベクトルをクエリタグベクトルＴＡＧＶ１Ｑとし、クラスタＣＳＴ２の代表点を表すベクトルをクエリタグベクトルＴＡＧＶ２ＤＢとし、クラスタＣＳＴ３の代表点を表すベクトルをクエリタグベクトルＴＡＧＶ３Ｑとし、クラスタＣＳＴ４の代表点を表すベクトルをクエリタグベクトルＴＡＧＶ４Ｑとし、クラスタＣＳＴ５の代表点を表すベクトルをクエリタグベクトルＴＡＧＶ５Ｑとする例を示している。
【0197】
上記代表点を表すベクトルの各成分は、例えば、クラスタに含まれるデータベースタグベクトルＴＡＧＶＤＢの各成分の平均値とすることができる。以上の手順により、処理部１３がクエリタグベクトルＴＡＧＶＱを取得することができる。
【0198】
【0199】
図１２Ｂに示すように、クエリタグベクトルＴＡＧＶＱには、重み付けをすることができる。当該重みは、例えば１つのクラスタに含まれるデータベースタグベクトルＴＡＧＶＤＢの個数を、図１２Ａ等に示す方法により抽出したデータベースタグＴＡＧＤＢの合計数で割った値とすることができる。例えば、図１２Ａ、及び図１２Ｂでは、２５個のデータベースタグＴＡＧＤＢを抽出した例を示している。また、クラスタＣＳＴ１には１１個のデータベースタグベクトルＴＡＧＶＤＢが含まれ、クラスタＣＳＴ２には４個のデータベースタグベクトルＴＡＧＶＤＢが含まれ、クラスタＣＳＴ３には５個のデータベースタグベクトルＴＡＧＶＤＢが含まれ、クラスタＣＳＴ４には２個のデータベースタグベクトルＴＡＧＶＤＢが含まれ、クラスタＣＳＴ５には３個のデータベースタグベクトルＴＡＧＶＤＢが含まれる例を示している。よって、図１２Ｂに示すように、クラスタＣＳＴ１に含まれるクエリタグベクトルＴＡＧＶ１Ｑの重みを１１／２５、クラスタＣＳＴ２に含まれるクエリタグベクトルＴＡＧＶ２Ｑの重みを４／２５、クラスタＣＳＴ３に含まれるクエリタグベクトルＴＡＧＶ３Ｑの重みを５／２５、クラスタＣＳＴ４に含まれるクエリタグベクトルＴＡＧＶ４Ｑの重みを２／２５、クラスタＣＳＴ５に含まれるクエリタグベクトルＴＡＧＶ５Ｑの重みを３／２５とすることができる。
【0200】
上記の方法により、例えばクエリ画像データＧＤＱの概念、技術的内容、注目点といった特徴を強く表すタグベクトルの重みを大きくすることができる。これにより、画像検索システム１０は高い精度で検索を行うことができる。
【0201】
ステップＳ１３及びステップＳ１４に示すクエリタグＴＡＧＱの取得方法は、例えばデータベースタグＴＡＧＤＢを基にせずにクエリタグＴＡＧＱを取得する方法と比較して、簡便な方法である。よって、画像検索システム１０は、短時間で検索を行うことができる。また、ステップＳ１３及びステップＳ１４に示す方法によるクエリタグＴＡＧＱの取得は、例えば画像検索システム１０の使用者が全てのクエリタグＴＡＧＱを指定し、かつ当該使用者へのクエリタグＴＡＧＱの候補の提示も行わない場合と比較して、クエリ画像データＧＤＱに対応する画像の概念、技術的内容、注目点等を表すタグを網羅的に取得することができる。よって、画像検索システム１０は、簡便かつ高い精度で検索を行うことができる。
【0202】
［ステップＳ１５］
次に、処理部１３が、データベース画像特徴量データＧＦＤＤＢと、データベースタグベクトルＴＡＧＶＤＢと、を含むデータＤＤＢを取得する。また、処理部１３が、クエリ画像特徴量データＧＦＤＱと、クエリタグベクトルＴＡＧＶＱと、を含むデータＤＱを取得する。
次に、処理部１３が、データベース画像特徴量データＧＦＤＤＢと、データベースタグベクトルＴＡＧＶＤＢと、を含むデータＤＤＢを取得する。また、処理部１３が、クエリ画像特徴量データＧＦＤＱと、クエリタグベクトルＴＡＧＶＱと、を含むデータＤＱを取得する。
【0203】
図１３は、データＤＤＢ、及びデータＤＱの構成例を示す図である。データベース画像特徴量データＧＦＤＤＢ、及びクエリ画像特徴量データＧＦＤＱは、図１０に示す構成と同様の構成とすることができる。データベースタグベクトルＴＡＧＶＤＢは、成分ＶＣＤＢ［１］乃至成分ＶＣＤＢ［ｈ］（ｈは２以上の整数）を有する構成とすることができる。クエリタグベクトルＴＡＧＶＱは、成分ＶＣＱ［１］乃至成分ＶＣＱ［ｈ］を有する構成とすることができる。ここで、例えば１つの画像データに、３００次元のベクトルで表されるタグが５個紐付けられている場合、ｈは１５００となる。
【0204】
本明細書等において、例えばデータベースタグベクトルＴＡＧＶＤＢ［１］が有する成分を成分ＶＣ１ＤＢと記載し、データベースタグベクトルＴＡＧＶＤＢ［１００］が有する成分を成分ＶＣ１００ＤＢと記載する。
【0205】
前述のように、成分という用語は、値という用語に言い換えることができる場合がある。この場合、画像特徴量データと、タグベクトルと、は共に複数の値の集合であるということができる。よって、データという用語と、ベクトルという用語は、入れ換えて用いることができる場合がある。
【0206】
［ステップＳ１６］
次に、データＤＤＢの、データＤＱに対する類似度を処理部１３が算出する。図１３に示す場合では、データＤＤＢ［１］乃至データＤＤＢ［１００］のそれぞれについて、データＤＱに対する類似度が算出される。そして、当該類似度を、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］の、クエリ画像データＧＤＱに対する類似度とすることができる。よって、ステップＳ１３で処理部１３が算出した、データベース画像データＧＤＤＢの、クエリ画像データＧＤＱに対する類似度を補正することができる。
次に、データＤＤＢの、データＤＱに対する類似度を処理部１３が算出する。図１３に示す場合では、データＤＤＢ［１］乃至データＤＤＢ［１００］のそれぞれについて、データＤＱに対する類似度が算出される。そして、当該類似度を、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］の、クエリ画像データＧＤＱに対する類似度とすることができる。よって、ステップＳ１３で処理部１３が算出した、データベース画像データＧＤＤＢの、クエリ画像データＧＤＱに対する類似度を補正することができる。
【0207】
【0208】
データＤＤＢの、データＤＱに対する類似度は、ステップＳ１３で処理部１３が算出した類似度と同じ種類とすることが好ましい。例えば、ステップＳ１３でコサイン類似度を算出した場合は、データＤＤＢの、データＤＱに対する類似度として、コサイン類似度を算出することが好ましい。
【0209】
例えば、データＤＤＢ［１］の、データＤＱに対するコサイン類似度は、以下の式で算出することができる。
【0210】
（数６）
【0211】
データＤＤＢ［２］乃至データＤＤＢ［１００］の、データＤＱに対するコサイン類似度も同様の方法で算出することができる。以上により、データＤＤＢ［１］乃至データＤＤＢ［１００］の、データＤＱに対する類似度を算出することができる。これにより、ステップＳ１３で算出した、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［１００］の、クエリ画像データＧＤＱに対する類似度を補正することができる。
【0212】
なお、画像特徴量データが有する値の数と、タグベクトルが有する成分の数と、の比を調整することにより、検索結果を変更することができる。例えば、クエリ画像特徴量データＧＦＤＱが有する値、及びデータベース画像特徴量データＧＦＤＤＢが有する値の数を増加させる、又はクエリタグベクトルＴＡＧＶＱが有する成分の数、及びデータベースタグベクトルＴＡＧＶＤＢが有する成分の数を減少させると、補正後の類似度は画像特徴量を重視した結果となる。例えば、データベース画像データＧＤＤＢの特徴量が、クエリ画像データＧＤＱの特徴量と類似していれば、データベースタグＴＡＧＤＢがクエリタグＴＡＧＱと多少異なっているとしても、当該データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する、補正後の類似度は高くなる。一方、クエリ画像特徴量データＧＦＤＱが有する値の数、及びデータベース画像特徴量データＧＦＤＤＢが有する値の数を減少させる、又はクエリタグベクトルＴＡＧＶＱが有する成分の数、及びデータベースタグベクトルＴＡＧＶＤＢが有する成分の数を増加させると、補正後の類似度はタグを重視した結果となる。例えば、データベースタグＴＡＧＤＢがクエリタグＴＡＧＱと類似していれば、データベース画像データＧＤＤＢの特徴量が、クエリ画像データＧＤＱの特徴量と多少異なっているとしても、当該データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する、補正後の類似度は高くなる。
【0213】
タグベクトルが有する成分の数を増加又は減少させるためには、画像データに紐付けられるタグの個数を増加又は減少させればよい。また、例えば画像特徴量データが有する値のうち、一部の値のみを類似度の算出に用いることにより、タグを重視した類似度を算出することができる。例えば、画像を見た場合に強い印象を与えない部分の特徴量を表す値を、類似度の算出に用いないことにより、クエリ画像と見た目の印象が大きく異なるデータベース画像の類似度が高くなることを抑制しつつ、タグを重視した類似度を算出することができる。よって、画像検索システム１０は高い精度で検索を行うことができる。
【0214】
また、画像特徴量データが有する値、又はタグベクトルが有する成分に所定の係数を乗じることによっても、検索結果を変更することができる。例えば、クエリ画像特徴量データＧＦＤＱが有する値、及びデータベース画像特徴量データＧＦＤＤＢが有する値に１より大きい実数を乗じることにより、補正後の類似度を、画像特徴量を重視した結果とすることができる。また、クエリタグベクトルＴＡＧＶＱが有する成分、及びデータベースタグベクトルＴＡＧＶＤＢが有する成分に０以上１未満の実数を乗じることにより、補正後の類似度を、画像特徴量を重視した結果とすることができる。例えば、クエリ画像特徴量データＧＦＤＱが有する値、及びデータベース画像特徴量データＧＦＤＤＢが有する値に０以上１未満の実数を乗じることにより、補正後の類似度を、タグを重視した結果とすることができる。また、クエリタグベクトルＴＡＧＶＱが有する成分、及びデータベースタグベクトルＴＡＧＶＤＢが有する成分に１より大きい実数を乗じることにより、補正後の類似度を、タグを重視した結果とすることができる。
【0215】
［ステップＳ１７］
次に、ステップＳ１６で算出した、補正後の類似度の順位に関する情報を含むランキングデータを処理部１３が生成し、検索結果として画像検索システム１０の外部に出力する。
次に、ステップＳ１６で算出した、補正後の類似度の順位に関する情報を含むランキングデータを処理部１３が生成し、検索結果として画像検索システム１０の外部に出力する。
【0216】
処理部１３は、ランキングデータを、伝送路１２を介して、記憶部１５又はデータベース１７に供給することができる。また、処理部１３は、ランキングデータを、伝送路１２を介して出力部１９に供給することができる。これにより、出力部１９は、画像検索システム１０の外部にランキングデータを供給することができる。
【0217】
ランキングデータは、各データベース画像の、クエリ画像に対する類似度の順位、類似度の値等を含むことができる。なお、ランキングデータは、データベース画像へのファイルパスを含むことが好ましい。これにより、画像検索システム１０の使用者は、ランキングデータから目的の画像に容易にアクセスすることができる。また、クエリ画像、及び出力されたデータベース画像に紐付けられたタグを確認できるようにしてもよい。さらに、例えばデータベース画像が掲載された刊行物を表す刊行物データがデータベース１７等に記憶されている場合は、画像検索システム１０の使用者は、ランキングデータに紐付けられたデータベース画像が掲載されている刊行物に容易にアクセスすることができる。以上が画像検索システム１０を用いた画像検索方法の一例である。
【0218】
画像検索システム１０を用いた画像検索方法では、まず、タグを紐付けずに、データベース画像データＧＤＤＢの、クエリ画像データＧＤＱに対する類似度を算出する。その後、タグを紐付けて、当該類似度を補正する。これにより、例えば特徴量はクエリ画像と類似するが、概念、技術的内容、注目点等が異なるデータベース画像が検索されることを抑制することができる。
【0219】
例えば、クエリ画像データＧＤＱに対する類似度が１乃至５番目に高いデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢを基にして、処理部１３がクエリタグＴＡＧＱを取得するとする。この場合、類似度が６番目以下のデータベース画像データＧＤＤＢに、クエリ画像と概念、技術的内容、注目点等が異なる画像データが混入することを抑制することができる。よって、検索結果にノイズとなる画像が混入し、検索したい画像が出力されなくなることを抑制することができる。以上により、画像検索システム１０は高い精度で検索を行うことができる。
【0220】
また、画像検索システム１０を用いた画像検索方法では、データベースタグＴＡＧＤＢを基にしてクエリタグＴＡＧＱを取得する。当該取得方法は、データベースタグＴＡＧＤＢを基にせずにクエリタグＴＡＧＱを取得する方法と比較して、簡便な方法である。よって、画像検索システム１０は、短時間で検索を行うことができる。また、データベースタグＴＡＧＤＢを基にしてクエリタグＴＡＧＱを取得する方法は、例えば画像検索システム１０の使用者が全てのクエリタグＴＡＧＱを指定し、かつ当該使用者へのクエリタグＴＡＧＱの候補の提示も行わない場合と比較して、クエリ画像データＧＤＱに対応する画像の概念、特徴、技術的内容、注目点等を表すタグを網羅的に取得することができる。よって、画像検索システム１０は、簡便かつ高い精度で検索を行うことができる。
【0221】
＜１－３．画像検索方法－２＞
図９等に示す画像検索方法では、画像検索システム１０の使用者は、クエリタグＴＡＧＱを入力していないが、本発明の一態様はこれに限らない。図１４は、画像検索システム１０の使用者がクエリタグＴＡＧＱの一部を手作業で入力する場合の、画像検索システム１０を用いた画像検索方法の一例を示すフローチャートである。なお、図１４に示す方法で画像検索システム１０を動作させる場合であっても、図９に示す画像検索方法で画像検索システム１０を動作させる場合と同様に、図２に示す処理をあらかじめ行っておくとよい。
図９等に示す画像検索方法では、画像検索システム１０の使用者は、クエリタグＴＡＧＱを入力していないが、本発明の一態様はこれに限らない。図１４は、画像検索システム１０の使用者がクエリタグＴＡＧＱの一部を手作業で入力する場合の、画像検索システム１０を用いた画像検索方法の一例を示すフローチャートである。なお、図１４に示す方法で画像検索システム１０を動作させる場合であっても、図９に示す画像検索方法で画像検索システム１０を動作させる場合と同様に、図２に示す処理をあらかじめ行っておくとよい。
【0222】
［ステップＳ２１］
まず、画像検索システム１０の使用者が、クエリ画像データＧＤＱの他、クエリタグＴＡＧＱを入力部１１に入力する。画像検索システム１０の使用者が入力するクエリタグＴＡＧＱの個数、及びクエリタグＴＡＧＱの内容は、当該使用者が任意に設定することができる。また、後のステップで自動的に取得されるクエリタグＴＡＧＱも含めた、クエリタグＴＡＧＱの個数を使用者が設定できるようにしてもよい。
まず、画像検索システム１０の使用者が、クエリ画像データＧＤＱの他、クエリタグＴＡＧＱを入力部１１に入力する。画像検索システム１０の使用者が入力するクエリタグＴＡＧＱの個数、及びクエリタグＴＡＧＱの内容は、当該使用者が任意に設定することができる。また、後のステップで自動的に取得されるクエリタグＴＡＧＱも含めた、クエリタグＴＡＧＱの個数を使用者が設定できるようにしてもよい。
【0223】
図１５は、クエリ画像データＧＤＱ、及びクエリタグＴＡＧＱの、入力部１１への入力について示す図である。図１５に示す場合では、画像検索システム１０の使用者が、クエリ画像データＧＤＱの他、クエリ画像データＧＤＱを表す「回路図」、「半導体」という２つのクエリタグＴＡＧＱを入力している。
【0224】
ここで、入力部１１へ入力するクエリタグＴＡＧＱを変えることにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度の算出結果を変えることができる。例えば、「容量素子」というクエリタグＴＡＧＱを入力部１１に入力する場合、容量素子が描かれていない回路図を表すデータベース画像データの類似度を低くすることができる。
【0225】
［ステップＳ２２］
次に、クエリ画像データＧＤＱを、処理部１３が有するニューラルネットワークに入力する。例えば、図３Ａ又は図３Ｂに示す構成のニューラルネットワーク３０に、クエリ画像データＧＤＱを入力することができる。これにより、処理部１３が、クエリ画像データＧＤＱの特徴量を表すクエリ画像特徴量データＧＦＤＱを取得することができる。
次に、クエリ画像データＧＤＱを、処理部１３が有するニューラルネットワークに入力する。例えば、図３Ａ又は図３Ｂに示す構成のニューラルネットワーク３０に、クエリ画像データＧＤＱを入力することができる。これにより、処理部１３が、クエリ画像データＧＤＱの特徴量を表すクエリ画像特徴量データＧＦＤＱを取得することができる。
【0226】
［ステップＳ２３］
次に、処理部１３が、データベース画像特徴量データＧＦＤＤＢと、データベースタグベクトルＴＡＧＶＤＢと、を含むデータＤＤＢを取得する。また、処理部１３が、クエリ画像特徴量データＧＦＤＱと、クエリタグベクトルＴＡＧＶＱと、を含むデータＤＱを取得する。
次に、処理部１３が、データベース画像特徴量データＧＦＤＤＢと、データベースタグベクトルＴＡＧＶＤＢと、を含むデータＤＤＢを取得する。また、処理部１３が、クエリ画像特徴量データＧＦＤＱと、クエリタグベクトルＴＡＧＶＱと、を含むデータＤＱを取得する。
【0227】
ここで、１つのデータベース画像データＧＤＤＢに紐付けられたデータベースタグＴＡＧＤＢの個数が、入力部１１に入力されたクエリタグＴＡＧＱの個数よりも多い場合は、データＤＤＢに含むタグを、データベース画像データＧＤＤＢに紐付けられたタグの中から選択する。例えば、１つのデータベース画像データＧＤＤＢに５個のデータベースタグＴＡＧＤＢが紐付けられているとする。そして、入力部１１に入力されたクエリタグＴＡＧＱの個数が２個であるとする。この場合は、５個のデータベースタグＴＡＧＤＢのうち、例えば最もＴＦ－ＩＤＦが高いタグと、２番目にＴＦ－ＩＤＦが高いタグと、をデータＤＤＢが有するタグとすることができる。
【0228】
［ステップＳ２４］
次に、データＧＤＤＢの、データＧＤＱに対する類似度を処理部１３が算出する。当該類似度は、図１３に示す方法と同様の方法で算出することができる。
次に、データＧＤＤＢの、データＧＤＱに対する類似度を処理部１３が算出する。当該類似度は、図１３に示す方法と同様の方法で算出することができる。
【0229】
［ステップＳ２５］
次に、データＤＤＢのデータＤＱに対する類似度の算出結果に基づいて、クエリタグＴＡＧＱを追加、修正する。
次に、データＤＤＢのデータＤＱに対する類似度の算出結果に基づいて、クエリタグＴＡＧＱを追加、修正する。
【0230】
図１６Ａ、及び図１６Ｂは、クエリタグＴＡＧＱの追加方法の一例を示す図である。まず、図１６Ａに示すように、ステップＳ２４で算出した類似度に基づき、データＤＤＢを並び替える。図１６Ａでは、１００個のデータＤＤＢを並び替える例を示している。例えば、最もデータＤＱに対する類似度が高いデータＤＤＢから降順で並び替える。図１６Ａに示す場合では、データＤＤＢ［２］の類似度が０．９９９で最も高く、データＤＤＢ［４１］の類似度が０．９７１で２番目に高く、データＤＤＢ［５３］の類似度が０．９６４で３番目に高く、データＤＤＢ［２２］の類似度が０．９５１で４番目に高く、データＤＤＢ［８８］の類似度が０．９３７で５番目に高いとしている。
【0231】
次に、類似度が高いデータＤＤＢが有するデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢを抽出する。図１６Ａに示す場合では、類似度が１乃至５番目に高いデータＤＤＢが有するデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢを抽出している。具体的には、データベース画像データＧＤＤＢ［２］に紐付けられているタグ「ａａａ」、「ｂｂｂ」、「ｃｃｃ」、「ｄｄｄ」、及び「ｅｅｅ」と、データベース画像データＧＤＤＢ［４１］に紐付けられているタグ「ａａａ」、「ｃｃｃ」、「ｆｆｆ」、「ｇｇｇ」、及び「ｈｈｈ」と、データベース画像データＧＤＤＢ［５３］に紐付けられているタグ「ａａａ」、「ｂｂｂ」、「ｆｆｆ」、「ｉｉｉ」、及び「ｋｋｋ」と、データベース画像データＧＤＤＢ［２２］に紐付けられているタグ「ａａａ」、「ｃｃｃ」、「ｇｇｇ」、「ｐｐｐ」、及び「ｑｑｑ」と、データベース画像データＧＤＤＢ［８８］に紐付けられているタグ「ａａａ」、「ｋｋｋ」、「ｒｒｒ」、「ｓｓｓ」、及び「ｔｔｔ」と、を抽出している。図１１Ａに示す場合と同様に、抽出するタグは重複していてもよい。
【0232】
その後、図１６Ｂに示すように、抽出したタグのそれぞれについて、出現回数を算出する。
【0233】
次に、図１６Ｂに示すように、上記抽出したタグの中から、所定の個数のタグをさらに抽出し、当該抽出したタグを新たなクエリタグＴＡＧＱとする。図１６Ｂに示す場合では、ステップＳ２１で既に２個のタグ（「回路図」、及び「半導体」）がクエリタグＴＡＧＱとして取得されている。そして、タグを３個追加することにより、クエリタグＴＡＧＱの個数を、１つのデータベース画像データＧＤＤＢに紐付けられているデータベースタグＴＡＧＤＢの個数と等しく５個とするとする。
【0234】
新たなクエリタグＴＡＧＱとするタグの抽出は、図１１Ｂに示す方法と同様の方法で行うことができる。例えば、出現回数が最も多いタグから順に抽出することができる。また、出現回数が同一のタグが複数存在するが、当該複数のタグをすべて抽出することができない場合、例えばより類似度が高いデータＤＤＢが有するデータベース画像データＧＤＤＢに紐付けられたタグを抽出することができる。図１６Ｂに示す場合では、タグ「ａａａ」、「ｂｂｂ」、「ｃｃｃ」を、新たなクエリタグＴＡＧＱとして抽出することができる。
【0235】
以上まとめると、図１６Ｂに示す場合では、ステップＳ２１で画像検索システム１０の使用者が入力部１１に入力したタグ「回路図」、「半導体」の他、タグ「ａａａ」、「ｂｂｂ」、「ｃｃｃ」を追加した５つのタグを、新たなクエリタグＴＡＧＱとすることができる。
【0236】
なお、画像検索システム１０の使用者が入力部１１に入力した一部又は全部を、クエリタグＴＡＧＱから削除してもよい。例えば、タグ「回路図」、「半導体」をタグＴＡＧＱから削除し、図１６Ｂに示すタグの中から５個のタグを抽出して新たなタグＴＡＧＱとしてもよい。この場合、例えばタグ「ａａａ」、「ｂｂｂ」、「ｃｃｃ」、「ｆｆｆ」、「ｇｇｇ」を、新たなタグＴＡＧＱとすることができる。
【0237】
［ステップＳ２６］
次に、クエリタグＴＡＧＱの追加、修正に対応して、データＤＤＢが有するタグを追加、修正する。例えば、１つのデータＤＤＢが有するデータベースタグベクトルＴＡＧＶＤＢの個数を、クエリタグＴＡＧＱの個数と等しくする。
次に、クエリタグＴＡＧＱの追加、修正に対応して、データＤＤＢが有するタグを追加、修正する。例えば、１つのデータＤＤＢが有するデータベースタグベクトルＴＡＧＶＤＢの個数を、クエリタグＴＡＧＱの個数と等しくする。
【0238】
［ステップＳ２７］
次に、データＧＤＤＢの、データＧＤＱに対する類似度を処理部１３が再度算出する。当該類似度は、ステップＳ２４に示す方法と同様の方法で算出することができる。これにより、データＧＤＤＢの、データＧＤＱに対する類似度を補正することができる。
次に、データＧＤＤＢの、データＧＤＱに対する類似度を処理部１３が再度算出する。当該類似度は、ステップＳ２４に示す方法と同様の方法で算出することができる。これにより、データＧＤＤＢの、データＧＤＱに対する類似度を補正することができる。
【0239】
［ステップＳ２８］
次に、ステップＳ２７で算出した、補正後の類似度の順位に関する情報を含むランキングデータを処理部１３が生成し、検索結果として画像検索システム１０の外部に出力する。これにより、画像検索システム１０の使用者は、例えば、各データベース画像のクエリ画像に対する類似度の順位、類似度の値、検索されたデータベース画像、タグ等を確認することができる。
次に、ステップＳ２７で算出した、補正後の類似度の順位に関する情報を含むランキングデータを処理部１３が生成し、検索結果として画像検索システム１０の外部に出力する。これにより、画像検索システム１０の使用者は、例えば、各データベース画像のクエリ画像に対する類似度の順位、類似度の値、検索されたデータベース画像、タグ等を確認することができる。
【0240】
［ステップＳ２９、ステップＳ３０］
次に、画像検索システム１０の使用者が、ランキングデータが期待した結果であるか確認する。期待した結果であれば、検索を終了する。期待した結果が得られなかった場合、画像検索システム１０の使用者が、クエリタグＴＡＧＱを追加、修正等した後、ステップＳ２３に戻る。以上が画像検索システム１０を用いた画像検索方法の一例である。
次に、画像検索システム１０の使用者が、ランキングデータが期待した結果であるか確認する。期待した結果であれば、検索を終了する。期待した結果が得られなかった場合、画像検索システム１０の使用者が、クエリタグＴＡＧＱを追加、修正等した後、ステップＳ２３に戻る。以上が画像検索システム１０を用いた画像検索方法の一例である。
【0241】
本実施の形態は、他の実施の形態と適宜組み合わせることができる。また、本明細書において、１つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。
【0242】
（実施の形態２）
実施の形態１では、画像検索システム１０はデータベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢに対するクエリ画像データＧＤＱの類似度を算出したが、本発明の一態様はこれに限らない。例えば、データベース画像データＧＤＤＢの一部の領域と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出してもよい。又は、データベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの一部の領域と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出してもよい。
実施の形態１では、画像検索システム１０はデータベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢに対するクエリ画像データＧＤＱの類似度を算出したが、本発明の一態様はこれに限らない。例えば、データベース画像データＧＤＤＢの一部の領域と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出してもよい。又は、データベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの一部の領域と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出してもよい。
【0243】
＜２－１．画像検索方法－３＞
図１７は、データベース画像データＧＤＤＢの一部の領域と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出する場合の、画像検索システム１０を用いた画像検索方法の一例である。まず、画像検索システム１０は、図９に示すステップＳ１１、又は図１４に示すステップ２１を行う。
図１７は、データベース画像データＧＤＤＢの一部の領域と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出する場合の、画像検索システム１０を用いた画像検索方法の一例である。まず、画像検索システム１０は、図９に示すステップＳ１１、又は図１４に示すステップ２１を行う。
【0244】
［ステップＳ３１］
次に、処理部１３が、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとを比較し、クエリ画像データＧＤＱに対する一致度が高い領域を含むデータベース画像データＧＤＤＢを抽出する。ここで、抽出したデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとする。クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとの比較は、例えば領域ベースマッチングにより行うことができる。
次に、処理部１３が、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとを比較し、クエリ画像データＧＤＱに対する一致度が高い領域を含むデータベース画像データＧＤＤＢを抽出する。ここで、抽出したデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとする。クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとの比較は、例えば領域ベースマッチングにより行うことができる。
【0245】
ステップＳ３１の動作の一例について、図１８乃至図２０を用いて詳細に説明する。ステップＳ３１では、図１８Ａに示すように、クエリ画像データＧＤＱをｎ個（ｎは１以上の整数）のデータベース画像データＧＤＤＢのそれぞれと比較する。ここで、ｎは、データベース１７に記憶されているデータベース画像データＧＤＤＢの個数と同数でもよいし、それより少なくてもよい。また、ｎは、データベース１７に記憶されているデータベース画像データＧＤＤＢの個数よりも多くてもよい。この場合は、データベース１７に記憶されているデータベース画像データＧＤＤＢの他に、記憶部１５に記憶されている画像データ、又は画像検索システム１０の外部から入力部１１を介して処理部１３に入力された画像データと、クエリ画像データＧＤＱとを比較する。なお、ｎがデータベース画像データＧＤＤＢの個数以下であっても、記憶部１５に記憶されている画像データ、又は画像検索システム１０の外部から入力部１１を介して処理部１３に入力された画像データと、クエリ画像データＧＤＱとを比較してもよい。
【0246】
ｎが小さい場合、ステップＳ３１の動作を短時間で行うことができる。一方、ｎが大きい場合、クエリ画像データＧＤＱに対する一致度が高い領域を含むデータベース画像データＧＤＤＢの抽出を高い精度で行うことができる。
【0247】
図１８Ｂは、クエリ画像データＧＤＱと、データベース画像データＧＤＤＢとを領域ベースマッチングにより比較する場合の手順について説明する図である。ここで、クエリ画像データＧＤＱに対応する画像の画素数は２×２、データベース画像データＧＤＤＢに対応する画像の画素数は４×４とする。つまり、クエリ画像データＧＤＱは２×２の画素値を有し、データベース画像データＧＤＤＢは４×４の画素値を有するとする。
【0248】
図１８Ｂにおいて、クエリ画像データＧＤＱが有する２×２の画素値を、それぞれ画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、画素値ｖｑ２２とする。例えば、クエリ画像データＧＤＱにおいて、１行１列目の画素に対応する画素値を画素値ｖｑ１１、１行２列目の画素に対応する画素値を画素値ｖｑ１２、２行１列目の画素に対応する画素値を画素値ｖｑ２１、２行２列目の画素に対応する画素値を画素値ｖｑ２２とする。また、データベース画像データＧＤＤＢが有する４×４の画素値を、それぞれ画素値ｖｄｂ１１乃至画素値ｖｄｂ４４とする。例えば、データベース画像データＧＤＤＢにおいて、１行１列目の画素に対応する画素値を画素値ｖｄｂ１１、１行４列目の画素に対応する画素値を画素値ｖｄｂ１４、４行１列目の画素に対応する画素値を画素値ｖｄｂ４１、４行４列目の画素に対応する画素値を画素値ｖｄｂ４４とする。
【0249】
まず、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、及び画素値ｖｄｂ２２と、を比較する。これにより、クエリ画像データＧＤＱと、データベース画像データＧＤＤＢのうち画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、及び画素値ｖｄｂ２２から構成される領域と、の一致度を算出することができる。なお、図１８Ｂでは、データベース画像データＧＤＤＢが有する画素値のうち、クエリ画像データＧＤＱと比較される画素値を、比較データ領域２１として点線で囲って示している。
【0250】
次に、比較データ領域２１をデータベース画像データＧＤＤＢが有する画素値に対して１列分移動させ、同様に画素値を比較し、一致度を算出する。具体的には、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１２、画素値ｖｄｂ１３、画素値ｖｄｂ２２、及び画素値ｖｄｂ２３と、を比較する。これにより、クエリ画像データＧＤＱと、データベース画像データＧＤＤＢのうち画素値ｖｄｂ１２、画素値ｖｄｂ１３、画素値ｖｄｂ２２、及び画素値ｖｄｂ２３から構成される領域と、の一致度を算出することができる。
【0251】
その後も、比較データ領域２１をデータベース画像データＧＤＤＢが有する画素値に対して１列分移動させ、同様に画素値を比較し、一致度を算出する。具体的には、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１３、画素値ｖｄｂ１４、画素値ｖｄｂ２３、及び画素値ｖｄｂ２４と、を比較する。これにより、クエリ画像データＧＤＱと、データベース画像データＧＤＤＢのうち画素値ｖｄｂ１３、画素値ｖｄｂ１４、画素値ｖｄｂ２３、及び画素値ｖｄｂ２４から構成される領域と、の一致度を算出することができる。
【0252】
次に、比較データ領域２１をデータベース画像データＧＤＤＢが有する画素値に対して１行分移動させ、データベース画像データＧＤＤＢの２行目の画素値、及び３行目の画素値と、クエリ画像データＧＤＱを構成する画素値とを上記と同様に１列ごとに比較する。これにより、データベース画像データＧＤＤＢの、２行目及び３行目の画素値から構成される領域と、クエリ画像データＧＤＱとの一致度を上記と同様に１列ごとに算出することができる。
【0253】
その後、比較データ領域２１をデータベース画像データＧＤＤＢが有する画素値に対して１行分移動させ、データベース画像データＧＤＤＢの３行目の画素値、及び４行目の画素値と、クエリ画像データＧＤＱを構成する画素値とを上記と同様に１列ごとに比較する。これにより、データベース画像データＧＤＤＢが有する、３行目及び４行目の画素値と、クエリ画像データＧＤＱとの一致度を上記と同様に１列ごとに算出することができる。
【0254】
以上の動作を行った後、例えば最も高い一致度を、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する一致度とする。以上をｎ個のデータベース画像データＧＤＤＢのそれぞれについて行う。その後、ｎ個のデータベース画像データＧＤＤＢの中から、クエリ画像データＧＤＱとの一致度が高いデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出する。例えば一致度が高いデータベース画像データＧＤＤＢから順に、規定の個数を抽出画像データＧＤＥｘとして抽出してもよい。又は、例えばクエリ画像データＧＤＱとの一致度が規定値以上のデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出してもよい。
【0255】
また、データベース画像データＧＤＤＢの抽出を行わなくてもよい。これは、クエリ画像データＧＤＱとの比較を行ったデータベース画像データＧＤＤＢの全てを、抽出画像データＧＤＥｘとすると言い換えることができる。
【0256】
図１９は、データベース画像データＧＤＤＢの抽出について説明する図である。図１９は、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［３］から、１個の画像データを抽出画像データＧＤＥｘとして抽出する例を示している。
【0257】
図１９に示すクエリ画像データＧＤＱに対応する画像には、例えばトランジスタの記号が含まれているものとする。また、図１９に示すデータベース画像データＧＤＤＢ［２］に対応する画像にはトランジスタの記号が含まれているが、データベース画像データＧＤＤＢ［１］に対応する画像、及びデータベース画像データＧＤＤＢ［３］に対応する画像にはトランジスタの記号が含まれていないものとする。この場合、データベース画像データＧＤＤＢ［２］のクエリ画像データＧＤＱに対する一致度は、データベース画像データＧＤＤＢ［１］及びデータベース画像データＧＤＤＢ［３］のクエリ画像データＧＤＱに対する一致度より高くなる。よって、データベース画像データＧＤＤＢ［２］を、抽出画像データＧＤＥｘとして抽出することができる。
【0258】
なお、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢの比較、及び一致度の算出は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、ＰＯＣ（Ｐｈａｓｅ－Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）等により行うことができる。
【0259】
また、図１８Ｂでは比較データ領域２１をデータベース画像データＧＤＤＢが有する画素値に対して１列分、又は１行分ずつ移動させているが、本発明の一態様はこれに限らない。比較データ領域２１をデータベース画像データＧＤＤＢが有する画素値に対して２列分以上移動させてもよいし、２行分以上移動させてもよい。例えば、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、及び画素値ｖｄｂ２２と、を比較した直後に、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１３、画素値ｖｄｂ１４、画素値ｖｄｂ２３、及び画素値ｖｄｂ２４と、を比較してもよい。この場合、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１２、画素値ｖｄｂ１３、画素値ｖｄｂ２２、及び画素値ｖｄｂ２３と、の比較は行わないこととなる。また、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ１３、画素値ｖｄｂ１４、画素値ｖｄｂ２３、及び画素値ｖｄｂ２４と、を比較した直後に、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、画素値ｖｄｂ３１、画素値ｖｄｂ３２、画素値ｖｄｂ４１、及び画素値ｖｄｂ４２と、を比較してもよい。
【0260】
比較データ領域２１の移動幅を大きくすることにより、クエリ画像データＧＤＱが有する画素値と、データベース画像データＧＤＤＢが有する画素値と、の比較演算の回数を減少させることができる。これにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する一致度の算出を短時間で行うことができる。
【0261】
図１８Ａでは、１個のクエリ画像データＧＤＱを、ｎ個のデータベース画像データＧＤＤＢとそれぞれ比較する例を示しているが、本発明の一態様はこれに限られない。図２０Ａに示すように、処理部１３に入力されたクエリ画像データＧＤＱを基にして、画素値の数が異なる複数のクエリ画像データＧＤＱを生成してもよい。図２０Ａは、処理部１３に入力されたクエリ画像データＧＤＱを基にして、それぞれ画素値の数が異なるクエリ画像データＧＤＱ［１］、クエリ画像データＧＤＱ［２］、及びクエリ画像データＧＤＱ［３］を生成する例を示している。図２０Ａに示すように、クエリ画像データＧＤＱ［１］に対応する画像の画素数と、クエリ画像データＧＤＱ［２］に対応する画像の画素数と、クエリ画像データＧＤＱ［３］に対応する画像の画素数と、はそれぞれ異なる。つまり、クエリ画像データＧＤＱ［１］乃至クエリ画像データＧＤＱ［３］に対応する画像は、処理部１３に入力されたクエリ画像データＧＤＱに対応する画像を拡大又は縮小したものであるということができる。
【0262】
複数のクエリ画像データＧＤＱを生成する場合、当該複数のクエリ画像データＧＤＱのそれぞれについて、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［ｎ］のそれぞれと比較する。これにより、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［ｎ］のそれぞれについて、複数のクエリ画像データＧＤＱのそれぞれに対する一致度を算出することができる。そして、例えば上記複数のクエリ画像データＧＤＱに対する一致度のうち最も高い一致度を、データベース画像データＧＤＤＢの、処理部１３に入力されたクエリ画像データＧＤＱに対する一致度とすることができる。
【0263】
例えば、図２０Ａに示す場合では、クエリ画像データＧＤＱ［１］をデータベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［ｎ］のそれぞれと比較し、クエリ画像データＧＤＱ［２］をデータベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［ｎ］のそれぞれと比較し、クエリ画像データＧＤＱ［３］をデータベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［ｎ］のそれぞれと比較する。これにより、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［ｎ］のそれぞれについて、クエリ画像データＧＤＱ［１］に対する一致度、クエリ画像データＧＤＱ［２］に対する一致度、及びクエリ画像データＧＤＱ［３］に対する一致度を算出することができる。
【0264】
そして、例えばクエリ画像データＧＤＱ［１］に対する一致度、クエリ画像データＧＤＱ［２］に対する一致度、及びクエリ画像データＧＤＱ［３］に対する一致度のうち最も高い一致度を、データベース画像データＧＤＤＢの、処理部１３に入力されたクエリ画像データＧＤＱに対する一致度とすることができる。例えば、データベース画像データＧＤＤＢ［１］のクエリ画像データＧＤＱ［１］に対する一致度、クエリ画像データＧＤＱ［２］に対する一致度、及びクエリ画像データＧＤＱ［３］に対する一致度のうち最も高い一致度を、データベース画像データＧＤＤＢ［１］の、処理部１３に入力されたクエリ画像データＧＤＱに対する一致度とすることができる。
【0265】
クエリ画像データＧＤＱに対応する画像と、データベース画像データＧＤＤＢに対応する画像と、に同一の要素が示されている場合であっても、両要素の大きさが異なる場合、当該データベース画像データＧＤＤＢには、クエリ画像データＧＤＱに対する一致度が高い領域が含まれないと判断される可能性がある。図２０Ｂ１に示す場合では、クエリ画像データＧＤＱに対応する画像と、データベース画像データＧＤＤＢに対応する画像と、の両方に、トランジスタの記号という同一の要素が示されている。しかし、クエリ画像データＧＤＱに対応する画像に示されているトランジスタの記号の大きさと、データベース画像データＧＤＤＢに対応する画像に示されているトランジスタの記号の大きさとが異なっている。この場合、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する一致度が低いと判断される可能性がある。
【0266】
一方、図２０Ｂ２に示す場合では、クエリ画像データＧＤＱに対応する画像と、データベース画像データＧＤＤＢに対応する画像と、の両方に、トランジスタの記号という同一の要素が示されており、さらに両要素の大きさも等しい。よって、データベース画像データＧＤＤＢに、クエリ画像データＧＤＱに対する一致度が高い領域が含まれると処理部１３が判断することができる。
【0267】
図２０Ａに示すように、画素値の数が異なる複数のクエリ画像データＧＤＱを生成することで、クエリ画像データＧＤＱに対応する画像に示されている要素の大きさを拡大、又は縮小することができる。よって、処理部１３に入力されたクエリ画像データＧＤＱに対応する画像と、データベース画像データＧＤＤＢに対応する画像と、に同一の要素が異なる大きさで示されている場合であっても、両画像データの一致度を高いものとすることができる。例えば、処理部１３に図２０Ｂ１に示すクエリ画像データＧＤＱが入力された場合、当該クエリ画像データＧＤＱが有する画素値の数を異ならせて図２０Ｂ２に示すクエリ画像データＧＤＱを生成することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する一致度を高いものとすることができる。以上により、データベース画像データＧＤＤＢの、処理部１３に入力されたクエリ画像データＧＤＱに対する一致度を高い精度で算出することができる。
【0268】
［ステップＳ３２］
次に、抽出画像データＧＤＥｘから、クエリ画像データＧＤＱに対する一致度が高い領域のデータである部分画像データＧＤｐａｒｔを処理部１３が抽出する。例えば、図１８Ｂに示す方法により、データベース画像データＧＤＤＢの各領域のクエリ画像データＧＤＱに対する一致度をそれぞれ算出した場合、一致度が最も高い領域を部分画像データＧＤｐａｒｔとして抽出する。よって、部分画像データＧＤｐａｒｔが有する画素値の数は、クエリ画像データＧＤＱが有する画素値の数と等しくすることができる。
次に、抽出画像データＧＤＥｘから、クエリ画像データＧＤＱに対する一致度が高い領域のデータである部分画像データＧＤｐａｒｔを処理部１３が抽出する。例えば、図１８Ｂに示す方法により、データベース画像データＧＤＤＢの各領域のクエリ画像データＧＤＱに対する一致度をそれぞれ算出した場合、一致度が最も高い領域を部分画像データＧＤｐａｒｔとして抽出する。よって、部分画像データＧＤｐａｒｔが有する画素値の数は、クエリ画像データＧＤＱが有する画素値の数と等しくすることができる。
【0269】
図２１Ａ、及び図２１Ｂは、ステップＳ３２の動作の一例を示す図である。図２１Ａ、及び図２１Ｂに示す抽出画像データＧＤＥｘ［１］乃至抽出画像データＧＤＥｘ［４］において、クエリ画像データＧＤＱに対する一致度が高い領域を、ハッチングを付して示している。図２１Ａ、及び図２１Ｂに示すように、ハッチングを付した領域を抽出して、部分画像データＧＤｐａｒｔ［１］乃至部分画像データＧＤｐａｒｔ［４］とすることができる。図２１Ａ、及び図２１Ｂでは、抽出画像データＧＤＥｘ［１］乃至抽出画像データＧＤＥｘ［４］から抽出した画像データを、それぞれ部分画像データＧＤｐａｒｔ［１］乃至部分画像データＧＤｐａｒｔ［４］としている。
【0270】
図２１Ａは、図１８Ａに示すように１個のクエリ画像データＧＤＱに対して、データベース画像データＧＤＤＢとの比較を行った例を示している。この場合、部分画像データＧＤｐａｒｔに対応する画像の画素数は、全て等しくすることができる。
【0271】
図２１Ｂは、図２０Ａに示すように画素値の数が異なる複数のクエリ画像データＧＤＱに対して、データベース画像データＧＤＤＢとの比較を行った例を示している。この場合、部分画像データＧＤｐａｒｔに対応する画像の画素数は、例えば一致度が最も高いクエリ画像データＧＤＱに対応する画像の画素数と等しくすることができる。よって、部分画像データＧＤｐａｒｔが複数存在する場合、部分画像データＧＤｐａｒｔに対応する画像の画素数が、部分画像データＧＤｐａｒｔごとに異なる場合がある。図２１Ｂでは、部分画像データＧＤｐａｒｔ［１］乃至部分画像データＧＤｐａｒｔ［４］に対応する画像の画素数がそれぞれ異なる例を示している。
【0272】
なお、部分画像データＧＤｐａｒｔの抽出を行わなくてもよい。この場合は、部分画像データＧＤｐａｒｔを適宜抽出画像データＧＤＥｘと読み替えることで、以降の説明を適用することができる。又は、抽出画像データＧＤＥｘの全体を部分画像データＧＤｐａｒｔとすることができるということができる。例えばクエリ画像データＧＤＱ及び抽出画像データＧＤＥｘの一方又は両方の画像データが有する画素値の数を増加又は減少させることにより、部分画像データＧＤｐａｒｔの抽出を行わなくても画像検索システム１０を用いた画像検索方法を実行することができる。
【0273】
［ステップＳ３３］
次に、クエリ画像データＧＤＱを処理部１３が有するニューラルネットワークに入力することにより、処理部１３がクエリ画像特徴量データＧＦＤＱを取得する。また、部分画像データＧＤｐａｒｔを処理部１３が有するニューラルネットワークに入力することにより、処理部１３がデータベース画像特徴量データＧＦＤＤＢを取得する。クエリ画像データＧＤＱ、及び部分画像データＧＤｐａｒｔは、例えば、図３Ａ、又は図３Ｂに示す構成のニューラルネットワーク３０に入力することができる。なお、画像検索システム１０を図１７に示す方法で動作させる場合、図２に示すステップＳ０２は行わなくてよい。つまり、データベース画像データＧＤＤＢの領域全体の特徴量を表すデータベース画像特徴量データＧＦＤＤＢは取得しなくてもよい。
次に、クエリ画像データＧＤＱを処理部１３が有するニューラルネットワークに入力することにより、処理部１３がクエリ画像特徴量データＧＦＤＱを取得する。また、部分画像データＧＤｐａｒｔを処理部１３が有するニューラルネットワークに入力することにより、処理部１３がデータベース画像特徴量データＧＦＤＤＢを取得する。クエリ画像データＧＤＱ、及び部分画像データＧＤｐａｒｔは、例えば、図３Ａ、又は図３Ｂに示す構成のニューラルネットワーク３０に入力することができる。なお、画像検索システム１０を図１７に示す方法で動作させる場合、図２に示すステップＳ０２は行わなくてよい。つまり、データベース画像データＧＤＤＢの領域全体の特徴量を表すデータベース画像特徴量データＧＦＤＤＢは取得しなくてもよい。
【0274】
実施の形態１で説明したように、ニューラルネットワーク３０の学習データとして、データベース画像データＧＤＤＢを用いることができる。ここで、学習データに用いる画像データが有する画素値の数と、ニューラルネットワーク３０に入力する画像データが有する画素値の数とは等しいことが好ましい。よって、ニューラルネットワーク３０が学習を行う際には、学習データに用いるデータベース画像データＧＤＤＢ等は、必要に応じて画素値の数を増加又は減少させて調整することが好ましい。また、ニューラルネットワーク３０にクエリ画像データＧＤＱ、又は部分画像データＧＤｐａｒｔを入力する際には、必要に応じて当該クエリ画像データＧＤＱ、又は部分画像データＧＤｐａｒｔが有する画素値の数を増加又は減少させることが好ましい。ここで、画素値の増加は、例えばパディングにより行うことが好ましく、例えばゼロパディングにより行うことが好ましい。
【0275】
図２２Ａは、データベース画像データＧＤＤＢが有する画素値の数の調整について説明する図である。図２２Ａに示す場合では、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［４］が有する画素値の数が、全て異なっている。この場合、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［４］をニューラルネットワーク３０の学習データに用いる際には、図２２Ａに示すようにこれらの画像データが有する画素値の数を揃えることが好ましい。
【0276】
図２２Ｂは、部分画像データＧＤｐａｒｔが有する画素値の数の調整について説明する図である。部分画像データＧＤｐａｒｔが有する画素値の数は、ニューラルネットワーク３０の学習に用いた画像データが有する画素値の数と等しくすることが好ましい。同様に、ニューラルネットワーク３０にクエリ画像データＧＤＱを入力する際には、当該クエリ画像データＧＤＱが有する画素値の数は、ニューラルネットワーク３０の学習に用いた画像データが有する画素値の数と等しくすることが好ましい。
【0277】
ステップＳ３３を行った後、画像検索システム１０は図９に示すステップＳ１３、又は図１４に示すステップＳ２３を行う。具体的には、ステップＳ３１の前にステップＳ１１を行った場合はステップＳ３３の後にステップＳ１３を行い、ステップＳ３１の前にステップＳ２１を行った場合はステップＳ３３の後にステップＳ２３を行う。以上がデータベース画像データＧＤＤＢの一部の領域と、クエリ画像データＧＤＱの領域全体と、を比較することにより、データベース画像データＧＤＤＢに対するクエリ画像データＧＤＱの類似度を算出する場合の、画像検索システム１０を用いた画像検索方法の一例である。
【0278】
図１７に示す方法では、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとを領域ベースマッチング等により比較し、クエリ画像データＧＤＱに対する一致度が高い領域を含むデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出している。その後、抽出画像データＧＤＥｘから、上記一致度が高い領域を部分画像データＧＤｐａｒｔとして抽出し、クエリ画像データＧＤＱと部分画像データＧＤｐａｒｔを、処理部１３が有するニューラルネットワークに入力している。このように、データベース画像データＧＤＤＢの抽出を行うことにより、クエリ画像データＧＤＱに対応する画像と一致度が高い画像を含まないデータベース画像を表すデータベース画像データＧＤＤＢが、処理部１３が有するニューラルネットワークに入力されることを抑制することができる。よって、クエリ画像データＧＤＱに対応する画像と類似する画像を一部に含むデータベース画像を、高い精度で短時間に検索することができる。なお、クエリ画像データＧＤＱと比較するデータベース画像データＧＤＤＢの個数が少ない場合等は、データベース画像データＧＤＤＢの抽出を行わなくても、高い精度で短時間に上記検索を行うことができる。
【0279】
＜２－２．画像検索方法－４＞
図２３は、データベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの一部の領域と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出する場合の、画像検索システム１０を用いた画像検索方法の一例である。まず、画像検索システム１０は、図９に示すステップＳ１１、又は図１４に示すステップ２１を行う。
図２３は、データベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの一部の領域と、を比較することにより、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する類似度を算出する場合の、画像検索システム１０を用いた画像検索方法の一例である。まず、画像検索システム１０は、図９に示すステップＳ１１、又は図１４に示すステップ２１を行う。
【0280】
［ステップＳ４１］
次に、処理部１３が、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとを比較し、クエリ画像データＧＤＱの一部に対する一致度が高いデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出する。クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとの比較は、ステップＳ３１と同様に例えば領域ベースマッチングにより行うことができる。
次に、処理部１３が、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとを比較し、クエリ画像データＧＤＱの一部に対する一致度が高いデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出する。クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとの比較は、ステップＳ３１と同様に例えば領域ベースマッチングにより行うことができる。
【0281】
ステップＳ４１の動作の一例について、図２４及び図２５を用いて詳細に説明する。ステップＳ４１では、図２４Ａに示すように、クエリ画像データＧＤＱをｎ個のデータベース画像データＧＤＤＢのそれぞれと比較する。
【0282】
図２４Ｂは、クエリ画像データＧＤＱと、データベース画像データＧＤＤＢとを領域ベースマッチングにより比較する場合の手順について説明する図である。ここで、クエリ画像データＧＤＱに対応する画像の画素数は４×４、データベース画像データＧＤＤＢに対応する画像の画素数は２×２とする。つまり、クエリ画像データＧＤＱは４×４の画素値を有し、データベース画像データＧＤＤＢは２×２の画素値を有するとする。
【0283】
図２４Ｂにおいて、クエリ画像データＧＤＱが有する４×４の画素値を、それぞれ画素値ｖｑ１１乃至画素値ｖｑ４４とする。例えば、クエリ画像データＧＤＱにおいて、１行１列目の画素に対応する画素値を画素値ｖｑ１１、１行４列目の画素に対応する画素値を画素値ｖｑ１４、４行１列目の画素に対応する画素値を画素値ｖｑ４１、４行４列目の画素に対応する画素値を画素値ｖｑ４４とする。また、データベース画像データＧＤＤＢが有する２×２の画素値を、それぞれ画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、画素値ｖｄｂ２２とする。例えば、データベース画像データＧＤＤＢにおいて、１行１列目の画素に対応する画素値を画素値ｖｄｂ１１、１行２列目の画素に対応する画素値を画素値ｖｄｂ１２、２行１列目の画素に対応する画素値を画素値ｖｄｂ２１、２行２列目の画素に対応する画素値を画素値ｖｄｂ２２とする。
【0284】
まず、画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、及び画素値ｖｄｂ２２と、画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２と、を比較する。これにより、データベース画像データＧＤＤＢと、クエリ画像データＧＤＱのうち画素値ｖｑ１１、画素値ｖｑ１２、画素値ｖｑ２１、及び画素値ｖｑ２２から構成される領域と、の一致度を算出することができる。なお、図２４Ｂでは、クエリ画像データＧＤＱが有する画素値のうち、データベース画像データＧＤＤＢと比較される画素値を、比較データ領域２１として点線で囲って示している。
【0285】
次に、比較データ領域２１をクエリ画像データＧＤＱが有する画素値に対して１列分移動させ、同様に画素値を比較し、一致度を算出する。具体的には、画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、及び画素値ｖｄｂ２２と、画素値ｖｑ１２、画素値ｖｑ１３、画素値ｖｑ２２、及び画素値ｖｑ２３と、を比較する。これにより、データベース画像データＧＤＤＢと、クエリ画像データＧＤＱのうち画素値ｖｑ１２、画素値ｖｑ１３、画素値ｖｑ２２、及び画素値ｖｑ２３から構成される領域と、の一致度を算出することができる。
【0286】
その後も、比較データ領域２１をクエリ画像データＧＤＱが有する画素値に対して１列分移動させ、同様に画素値を比較し、一致度を算出する。具体的には、画素値ｖｄｂ１１、画素値ｖｄｂ１２、画素値ｖｄｂ２１、及び画素値ｖｄｂ２２と、画素値ｖｑ１３、画素値ｖｑ１４、画素値ｖｑ２３、及び画素値ｖｑ２４と、を比較する。これにより、データベース画像データＧＤＤＢと、クエリ画像データＧＤＱのうち画素値ｖｑ１３、画素値ｖｑ１４、画素値ｖｑ２３、及び画素値ｖｑ２４から構成される領域と、の一致度を算出することができる。
【0287】
次に、比較データ領域２１をクエリ画像データＧＤＱが有する画素値に対して１行分移動させ、クエリ画像データＧＤＱの２行目の画素値、及び３行目の画素値と、データベース画像データＧＤＤＢを構成する画素値とを上記と同様に１列ごとに比較する。これにより、クエリ画像データＧＤＱの、２行目及び３行目の画素値から構成される領域と、データベース画像データＧＤＤＢとの一致度を上記と同様に１列ごとに算出することができる。
【0288】
その後、比較データ領域２１をクエリ画像データＧＤＱが有する画素値に対して１行分移動させ、クエリ画像データＧＤＱの３行目の画素値、及び４行目の画素値と、データベース画像データＧＤＤＢを構成する画素値とを上記と同様に１列ごとに比較する。これにより、クエリ画像データＧＤＱの、３行目及び４行目の画素値から構成される領域と、データベース画像データＧＤＤＢとの一致度を上記と同様に１列ごとに算出することができる。
【0289】
以上の動作を行った後、例えば最も高い一致度を、データベース画像データＧＤＤＢのクエリ画像データＧＤＱに対する一致度とする。以上をｎ個のデータベース画像データＧＤＤＢのそれぞれについて行う。その後、ステップＳ３１と同様に、ｎ個のデータベース画像データＧＤＤＢの中から、クエリ画像データＧＤＱとの一致度が高いデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出する。なお、ステップＳ３１と同様に、データベース画像データＧＤＤＢの抽出を行わなくてもよい。
【0290】
図２５は、データベース画像データＧＤＤＢの抽出について説明する図である。図２５は、データベース画像データＧＤＤＢ［１］乃至データベース画像データＧＤＤＢ［３］から、１個の画像データを抽出画像データＧＤＥｘとして抽出する例を示している。
【0291】
図２５に示すクエリ画像データＧＤＱに対応する画像には、例えばトランジスタの記号、及び容量素子の記号が含まれているものとする。また、図２５に示すデータベース画像データＧＤＤＢ［２］に対応する画像にはトランジスタの記号が含まれているが、データベース画像データＧＤＤＢ［１］に対応する画像、及びデータベース画像データＧＤＤＢ［３］に対応する画像には、トランジスタの記号、及び容量素子の記号のいずれもが含まれていないものとする。この場合、データベース画像データＧＤＤＢ［２］のクエリ画像データＧＤＱに対する一致度は、データベース画像データＧＤＤＢ［１］及びデータベース画像データＧＤＤＢ［３］のクエリ画像データＧＤＱに対する一致度より高くなる。よって、データベース画像データＧＤＤＢ［２］を、抽出画像データＧＤＥｘとして抽出することができる。
【0292】
なお、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢの比較、及び一致度の算出は、ステップＳ３１で用いることができる方法と同様の方法を用いることができる。また、図２４Ｂでは比較データ領域をクエリ画像データＧＤＱが有する画素値に対して１列分、又は１行分ずつ移動させているが、ステップＳ３１と同様に、比較データ領域２１をクエリ画像データＧＤＱが有する画素値に対して２列分以上移動させてもよいし、２行分以上移動させてもよい。さらに、図２０Ａに示す場合と同様に、処理部１３に入力されたクエリ画像データＧＤＱを基にして、画素値の数が異なる複数のクエリ画像データＧＤＱを生成してもよい。
【0293】
［ステップＳ４２］
次に、クエリ画像データＧＤＱから、抽出画像データＧＤＥｘに対する一致度が高い領域のデータである部分画像データＧＤｐａｒｔ－Ｑを処理部１３が抽出する。例えば、図２４Ｂに示す方法で、クエリ画像データＧＤＱの各領域の、データベース画像データＧＤＤＢに対する一致度をそれぞれ算出した場合、一致度が最も高い領域を部分画像データＧＤｐａｒｔ－Ｑとして抽出する。よって、部分画像データＧＤｐａｒｔ－Ｑが有する画素値の数は、抽出画像データＧＤＥｘが有する画素値の数と等しくすることができる。
次に、クエリ画像データＧＤＱから、抽出画像データＧＤＥｘに対する一致度が高い領域のデータである部分画像データＧＤｐａｒｔ－Ｑを処理部１３が抽出する。例えば、図２４Ｂに示す方法で、クエリ画像データＧＤＱの各領域の、データベース画像データＧＤＤＢに対する一致度をそれぞれ算出した場合、一致度が最も高い領域を部分画像データＧＤｐａｒｔ－Ｑとして抽出する。よって、部分画像データＧＤｐａｒｔ－Ｑが有する画素値の数は、抽出画像データＧＤＥｘが有する画素値の数と等しくすることができる。
【0294】
図２６は、ステップＳ４２の動作の一例を示す図である。図２６に示す場合では、クエリ画像データＧＤＱに対応する画像の左上部分が、抽出画像データＧＤＥｘ［１］に対する一致度が最も高い領域となる。したがって、クエリ画像データＧＤＱのうち、左上の領域に対応するデータを部分画像データＧＤｐａｒｔ－Ｑ［１］とする。一方、クエリ画像データＧＤＱに対応する画像の右下部分が、抽出画像データＧＤＥｘ［２］に対する一致度が最も高い領域となる。したがって、クエリ画像データＧＤＱのうち、右下の領域に対応するデータを部分画像データＧＤｐａｒｔ－Ｑ［２］とする。つまり、１個のクエリ画像データＧＤＱから複数の部分画像データＧＤｐａｒｔ－Ｑが抽出されている。
【0295】
ステップＳ４２において、抽出画像データＧＤＥｘと同数の画像データを、クエリ画像データＧＤＱから部分画像データＧＤｐａｒｔ－Ｑとして抽出してもよい。又は、抽出画像データＧＤＥｘより少ない数の画像データを、クエリ画像データＧＤＱから部分画像データＧＤｐａｒｔ－Ｑとして抽出してもよい。例えば、複数の抽出画像データＧＤＥｘに対して、一致度が高いクエリ画像データＧＤＱの領域が同一である場合には、当該同一の領域については、クエリ画像データＧＤＱから抽出される部分画像データＧＤｐａｒｔ－Ｑの個数は１個とすることができる。つまり、同一の部分画像データＧＤｐａｒｔ－Ｑを、クエリ画像データＧＤＱから複数抽出しなくてもよい。
【0296】
なお、部分画像データＧＤｐａｒｔ－Ｑの抽出を行わなくてもよい。この場合は、部分画像データＧＤｐａｒｔ－Ｑを適宜クエリ画像データＧＤＱと読み替えることで、以降の説明を適用することができる。又は、クエリ画像データＧＤＱの全体を部分画像データＧＤｐａｒｔ－Ｑとすることができるということができる。例えばクエリ画像データＧＤＱ及び抽出画像データＧＤＥｘの一方又は両方の画像データが有する画素値の数を増加又は減少させることにより、部分画像データＧＤｐａｒｔ－Ｑの抽出を行わなくても画像検索システム１０を用いた画像検索方法を実行することができる。
【0297】
［ステップＳ４３］
次に、部分画像データＧＤｐａｒｔ－Ｑと抽出画像データＧＤＥｘとを、処理部１３が有するニューラルネットワークに入力する。
次に、部分画像データＧＤｐａｒｔ－Ｑと抽出画像データＧＤＥｘとを、処理部１３が有するニューラルネットワークに入力する。
【0298】
ステップＳ４３における動作は、適宜クエリ画像データＧＤＱを部分画像データＧＤｐａｒｔ－Ｑと読み替え、部分画像データＧＤｐａｒｔを抽出画像データＧＤＥｘと読み替えること等により、ステップＳ３３の説明を参照することができる。なお、クエリ画像データＧＤＱを抽出画像データＧＤＥｘと読み替え、部分画像データＧＤｐａｒｔを部分画像データＧＤｐａｒｔ－Ｑと読み替える場合もある。
【0299】
以上がデータベース画像データＧＤＤＢの領域全体と、クエリ画像データＧＤＱの一部の領域と、を比較することにより、データベース画像データＧＤＤＢに対するクエリ画像データＧＤＱの類似度を算出する場合の、画像検索システム１０を用いた画像検索方法の一例である。
【0300】
図２３に示す方法では、クエリ画像データＧＤＱとデータベース画像データＧＤＤＢとを領域ベースマッチング等により比較し、クエリ画像データＧＤＱの一部に対する一致度が高いデータベース画像データＧＤＤＢを、抽出画像データＧＤＥｘとして抽出している。その後、クエリ画像データＧＤＱから、上記一致度が高い領域を部分画像データＧＤｐａｒｔ－Ｑとして抽出し、部分画像データＧＤｐａｒｔ－Ｑと抽出画像データＧＤＥｘを、処理部１３が有するニューラルネットワークに入力している。このように、データベース画像データＧＤＤＢの抽出を行うことにより、クエリ画像データＧＤＱに対応する画像と一致度が高い画像を含まないデータベース画像を表すデータベース画像データＧＤＤＢが、処理部１３が有するニューラルネットワークに入力されることを抑制することができる。よって、クエリ画像データＧＤＱに対応する画像の一部と類似するデータベース画像を、高い精度で短時間に検索することができる。なお、クエリ画像データＧＤＱと比較するデータベース画像データＧＤＤＢの個数が少ない場合等は、データベース画像データＧＤＤＢの抽出を行わなくても、高い精度で短時間に上記検索を行うことができる。
【0301】
本実施の形態は、他の実施の形態と適宜組み合わせることができる。また、本明細書において、１つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。
【実施例0302】
本実施例では、画像検索システムに画像を入力し、当該画像と類似するデータベース画像を検索した結果について説明する。
【0303】
本実施例では、画像検索システムに、クエリ画像として１枚の画像を入力した。その後、当該画像と類似するデータベース画像を、条件１と条件２により１００枚ずつ検索した。条件１、条件２のいずれにおいても、クエリ画像は半導体製造装置を表す模式図とした。また、データベース画像として、半導体製造装置を表す模式図の他、回路図、回路レイアウト図、ブロック図等を用意した。さらに、データベース画像は、特許文献に掲載された図面とした。
【0304】
条件１では、図９に示すステップＳ１１乃至ステップＳ１３を行い、データベース画像の、クエリ画像に対する類似度を算出した。その後、ステップＳ１７を行い、当該類似度が高い方から１番目乃至１００番目のデータベース画像を表すランキングデータを生成した。
【0305】
条件２では、まず、図２に示すステップＳ０１乃至ステップＳ０４により、データベース画像が掲載された特許文献と同一の特許文献に掲載された明細書から、データベースタグを取得した。次に、図９に示すステップＳ１１乃至ステップＳ１３を行い、データベース画像の、クエリ画像に対する類似度を算出した後、ステップＳ１４乃至ステップＳ１６を行い、当該類似度を補正した。その後、ステップＳ１７を行い、補正後の類似度が高い方から１番目乃至１００番目のデータベース画像を表すランキングデータを生成した。
【0306】
条件１では、クエリ画像との類似度が１番目乃至１００番目のデータベース画像のうち、クエリ画像と同じく半導体製造装置を表す画像は１４枚であり、残りの８６枚は回路図、回路レイアウト図、ブロック図等を表す画像であった。一方、条件２では、１００枚とも半導体製造装置を表す画像であった。
【0307】
以上より、条件２では、クエリ画像と概念が類似するデータベース画像を、条件１より多く検索することができることが確認された。
【符号の説明】
【0308】
１０：画像検索システム、１１：入力部、１２：伝送路、１３：処理部、１５：記憶部、１７：データベース、１９：出力部、２１：比較データ領域、３０：ニューラルネットワーク、３０ａ：ニューラルネットワーク、３１：層、３２：ニューロン、３２ａ：ニューロン、３２ｂ：ニューロン、３２ｃ：ニューロン、４０：ニューラルネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】