特開 2023-166637 画像識別方法、画像識別プログラム及び画像識別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166637

(43)【公開日】2023-11-22

(54)【発明の名称】画像識別方法、画像識別プログラム及び画像識別システム

(51)【国際特許分類】

   G06F 16/53 20190101AFI20231115BHJP

   G06T 19/00 20110101ALI20231115BHJP

【ＦＩ】

G06F16/53

G06T19/00 600

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2020171588

(22)【出願日】2020-10-10

(71)【出願人】

【識別番号】520395363

【氏名又は名称】６Ａｓｓｅｔｓ株式会社

(74)【代理人】

【識別番号】230116539

【弁護士】

【氏名又は名称】恩田 俊明

(72)【発明者】

【氏名】根岸 心

【テーマコード（参考）】

5B050

5B175

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA08

5B050EA09

5B050EA18

5B050EA27

5B175DA02

5B175DA04

5B175HB03

(57)【要約】      （修正有）

【課題】一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別方法、画像識別プログラム及び画像識別システムを提供する。
【解決手段】画像識別システム０２００は、特定画像データと所定情報とをリンクさせるためのリンク生成部０２０１と、画像データの入力を受け付ける入力受付ステップ０２０２と、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断部０２０３と、識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力部０２０４と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別方法であって、
特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、
画像データの入力を受け付ける入力受付ステップと、
画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、
識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、
をコンピュータを用いて実行する画像識別方法。

【請求項2】

画像データに複数の特定画像データが含まれるか否かを判断するための複数画像識別ルールを備え、
識別判断ステップは、受け付けた画像データを複数画像識別ルールを用いて識別する複数識別判断サブステップをさらに有する請求項１に記載の画像識別方法。

【請求項3】

入力受付ステップにて取得した画像データに付随する情報である付随情報が含まれているかどうかを判断する付随情報判断ステップをさらに有し、
識別判断ステップは、付随情報判断ステップにて付随情報が含まれると判断される場合に当該付随情報を用いて所定の特定画像データとの関連性を判断可能な付随情報利用判断サブステップをさらに有する請求項１又は２に記載の画像識別方法。

【請求項4】

入力受付ステップは、画像データとして動画データをも入力受付する動画受付サブステップを有し、
動画データに含まれる画像データを特定する画像データ特定ステップを有するとともに、
識別判断ステップは、画像データ特定ステップにて特定された画像データと所定の特定画像データとの関連性を判断する動画識別サブステップをさらに有する
請求項１から３のいずれか一に記載の画像識別方法。

【請求項5】

入力受付ステップは、画像データとして仮想空間におけるオブジェクトデータをも入力受付する仮想空間データ受付サブステップを有し、
識別判断ステップは、仮想空間データ受付サブステップにて受け付けたオブジェクトデータと所定の特定画像データとの関連性を判断する仮想空間データ識別サブステップをさらに有する請求項１から４のいずれか一に記載の画像識別方法。

【請求項6】

一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別プログラムであって、
特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、
画像データの入力を受け付ける入力受付ステップと、
画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、
識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、
をコンピュータに実行させる画像識別プログラム。

【請求項7】

一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別システムであって、
特定画像データと所定情報とをリンクさせるためのリンク生成部と、
画像データの入力を受け付ける入力受付部と、
画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断部と、
識別判断部での判断結果に応じて、リンク生成部にてリンクされた情報を出力するリンク先情報出力部と、
を有する画像識別システム。

【請求項8】

撮像機能を起動するための撮像機能制御ステップと、
画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出する特徴量抽出ステップと、
抽出した特徴量を外部サーバに出力する特徴量出力ステップと、
前記出力した特徴量と紐づけて識別された所定情報を取得する所定情報取得ステップと、
取得した所定情報を出力する所定情報出力ステップと、
を携帯端末に実行させる画像識別プログラム。

【請求項9】

特徴量抽出ステップは、画像データに含まれる文字の有無又はその内容を識別して特徴量を抽出する文字識別サブステップを有する請求項８に記載の画像識別プログラム。

【請求項10】

携帯端末の位置情報を取得する位置情報取得ステップをさらに有し、
特徴量抽出ステップは、画像識別モデルに加え、取得した位置情報をも用いて特徴量を抽出する位置情報利用サブステップを有する請求項８又は９に記載の画像識別プログラム。

【請求項11】

特徴量抽出ステップは、複数の画像データを用いて特徴量を抽出する複数画像利用サブステップをさらに有する請求項８から１０のいずれか一に記載の画像識別プログラム。

【請求項12】

複数画像利用サブステップは、複数の画像を用いて一のオブジェクトを推定し、当該推定結果に基づいて特徴量を抽出することを特徴とする請求項１１に記載の画像識別プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、日常生活において存在する屋内屋外の様々なアイコンをコード情報として利用するための画像識別方法、プログラム及びシステムに関する。

【背景技術】

【0002】

商品やサービスの管理や決済には従来からコード情報を用いることが広く行われており、特にバーコードや二次元コードといったコード情報が汎用的に用いられている。そしてこれらのコード情報は、インターネットの発展に伴い、上記の用途にとどまらず、オンライン上での情報伝達などの手段としても広く用いられるようになっている。

【0003】

なお、バーコードや二次元コード等のコード情報それ自体は、特定の情報へのアクセスを容易にするという意味において情報を間接的に表示出力する主体ということができる。ただし、それ自体視認したところで特段の情報を取得できるわけではないので、利用者にとってよりわかりやすい情報伝達方法が求められている。

【0004】

具体的には、コード情報にとどまらず商品の画像をも画像取得し識別することで、当該商品に類似する商品の情報を利用者に提供するための技術が開示されている。当該技術においては、スーパー等の販売店で商品やサービスの説明や特典に関する情報を利用者に好適に提供することが可能になっている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９-２０４４４６

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載されている先行技術は、店舗内の商品や特定の形状の商品についてのみ適用可能な技術であり、その用途が限定されてしまっている。

【0007】

また、特許文献１記載の技術では、店舗内の商品運搬用の籠やカードに設けられる情報処理端末にてすべての処理を実行しようとする技術であるため、対応できるリンク生成等の処理は端末の情報処理能力に依存することとなり、大量の情報を用いたリンク生成やリンクの利用については物理的その他多くの制約があった。

【課題を解決するための手段】

【0008】

以上のような課題を解決すべく、本発明は、一の画像データと特定のオブジェクトに関連した画像データである特定画像データとを識別するための画像識別モデルを用いる画像識別方法であって、特定画像データと所定情報とをリンクさせるためのリンク生成ステップと、 画像データの入力を受け付ける入力受付ステップと、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する識別判断ステップと、識別判断ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力するリンク先情報出力ステップと、をコンピュータを用いて実行する画像識別方法などを提案する。

【0009】

また、当該発明を実行するために用いられるプログラムとして、撮像機能を起動するための撮像機能制御ステップと、画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出する特徴量抽出ステップと、抽出した特徴量を外部サーバに出力する特徴量出力ステップと、前記出力した特徴量と紐づけて識別された所定情報を取得する所定情報取得ステップと、取得した所定情報を出力する所定情報出力ステップと、を携帯端末に実行させる画像識別プログラムなども提案する。

【発明の効果】

【0010】

主に以上のような構成をとる本発明によって、商品の種類や形状とは関係なく、店舗の内装や外観、看板その他の画像を利用した顧客誘引のための仕組みを、端末の処理能力に過度に依存することなく提供することが可能になる。

【図面の簡単な説明】

【0011】

【図1】本発明の概要を示す図

【図2】実施形態１の画像識別システムの機能ブロックの一例を示す図

【図3】実施形態１の画像識別システムの機能的な各構成をまとめて一のハードウェアとして実現した際の構成の一例を示す概略図

【図4】実施形態１の画像識別システムにおける処理の流れの一例を示す図

【図5】実施形態２の画像識別システムの機能ブロックの一例を示す図

【図6】実施形態２の画像識別システムにおける処理の流れの一例を示す図

【図7】実施形態３の画像識別システムの機能ブロックの一例を示す図

【図8】実施形態３の画像識別システムにおける処理の流れの一例を示す図

【図9】実施形態４の携帯端末の機能ブロックの一例を示す図

【図10】実施形態４の携帯端末の機能的な各構成をまとめて一のハードウェアとして実現した際の構成の一例を示す概略図

【図11】実施形態４の携帯端末における処理の流れの一例を示す図

【発明を実施するための形態】

【0012】

まず図１を示す。図１は本発明の概要を示す図である。本発明はスマートフォンなどの携帯端末を用いて店舗のファサード（外観）のようなオブジェクトを撮影するなどして画像データを取得すると、当該オブジェクトを画像識別モデルを用いて解析し、当該画像データと関連する情報を取得することができる。同図ではある店舗の外観をスマートフォンで撮影してその画像データを外部のクラウドサーバに送信すると、当該サーバ内の画像識別モデルを用いて当該画像データが「Ａ」という店舗の外観であることを識別する。当該クラウドサーバでは、「Ａ」という店舗がカップケーキが有名なスイーツ店であることや、販売されているカップケーキの詳細な情報などが、あらかじめ「Ａ」という店舗の外観画像と紐づけて所定情報として保持されており、上記識別結果に基づいて所定情報をスマートフォンに送信する。このような構成を採用することで、ユーザは店舗「Ａ」の店名などがわからなくても、外観を撮影するだけで、同店舗の売りとなっている商品の情報を取得することができる。

【0013】

以下、本発明の各実施形態について図面とともに説明する。まず実施形態と請求項の相互の関係は、以下のとおりである。まず、実施形態１は、主に請求項１、２、３、６、７などに対応する。実施形態２は、主に請求項４などに対応する。実施形態３は、主に請求項５などに対応する。実施形態４は、主に請求項８、９、１０、１１、１２などに対応する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、技術常識に従って特許請求の範囲の各請求項に記載の技術的思想を有し、その要旨を逸脱しない範囲内において、様々な態様で実施し得る。

【0014】

＜＜実施形態１＞＞
＜概要＞
図２は、本実施形態の画像識別方法を一又は複数のコンピュータからなる一のシステムにて実現する場合の当該システムの機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別システム」０２００は、「リンク生成部」０２０１と、「入力受付部」０２０２と、「識別判断部」０２０３と、「リンク先情報出力部」０２０４と、を有する。

【0015】

本実施形態の画像識別システムにおいては、一の画像データと商材に関連した画像データである商材画像データとを識別するための「画像識別モデル」０２１０を用いることを特徴とする。

【0016】

なお、以下で詳しく説明する画像識別方法を実行するためのシステムは、その機能の一又は複数の機能を複数の装置にて実現するようにも構成され得るものであって、その機能ブロックは、いずれもハードウェア又はソフトウェアとして実現され得る。コンピュータを用いるものを例にすれば、ＣＰＵやメインメモリ、ＧＰＵ、ＴＰＵ、画像メモリ、バス、二次記憶装置（ハードディスクや不揮発性メモリ）、キーボードや操作ボタン、タッチパネル、タッチパネルをタッチするための電子ペンなどの各種入力デバイス、マイク、ディスプレイその他各種出力デバイス、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらのハードウェアを制御するためのドライバプログラムやその他のアプリケーションプログラムなどが挙げられる。

【0017】

そしてメインメモリ上に展開したプログラムに従った演算処理によって、入力デバイスやその他インターフェースなどから入力されメモリやハードウェア上に保持されているデータなどが加工、蓄積されたり、前記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。ここで、上記プログラムは、モジュール化された複数のプログラムとして実現されてもよいし、２以上のプログラムを組み合わせて一のプログラムとして実現されても良い。クラウドコンピューティングの形式にて分散処理されてももちろんよいし、ＡＰＩ連携の形式にて複数の事業者間にまたがって提供される複数のプログラムによって実行処理されてもよい。

【0018】

＜機能的構成＞
「リンク生成部」０２０１は、特定画像データと所定情報とをリンクさせるように構成されている。ここでいう特定画像データとは、特定のオブジェクトに関連した画像データであることを要し、どのような関連付けがなされるかは適宜設定可能である。例えば、特定のオブジェクトとしてはまず飲食店舗その他の建造物の正面外観（ファサード）その他の外観、看板、周辺施設との相対位置関係がわかる外観その他店舗を訪問することで取得可能な建造物や飲食物、商品の画像が特定画像データとして想定されうる。

【0019】

また、特定画像データは、上記のような建造物や商品そのものの画像にとどまらず、それらの画像と別途の情報とを関連付けて構成されていてもよい。具体的な関連付けの一例としては、上記外景に含まれる特定の情報（建造物の名称、施設の名称、店舗の名称、商品名、サービス名、商品形状、商品の陳列形態）などを別途の入力等により予め記憶しておき、当該画像とそれらの情報とを紐付けることが考えられる。ここで画像のみならず当該画像に含まれる文字その他の情報をも用いてリンク生成の用に供することで、リンク先への遷移をしやすくすることができる。

【0020】

ここで、一の所定情報とリンクされる特定画像データは、必ずしも一である必要はなく、すなわち複数の特定画像データと一の所定情報とがリンクされるように構成されていてもよい。一の施設を例にとると、当該施設の外観のうちファサードのほか斜めから見た画像、対抗する施設から見た画像、上空から見た画像、施設内部から見た外景画像など、当該施設を特定するために用いられうる画像をそれぞれ特定画像データとして所定情報とリンクさせることが考えられる。複数の画像を用いて所定情報とリンクさせる構成を採用することにより、後述する入力受付部にて不鮮明であったり、部分的な画像の入力を受け付けた場合であっても当該画像から所定情報へのリンクをするための識別処理を行ったりすることができるようになる。

【0021】

リンク生成部において特定画像データは、所定情報とリンクさせるように構成される。ここでの所定情報とは、当該特定画像データと関連性があると思われる情報であれば特に制約はなく、例えば特定の施設に関する特定画像データと関連して、当該施設で行われるイベントの案内や、当該施設の歴史を解説する情報であってもよいし、当該施設で限定販売される商品の情報などであってもよい。また、当該特定画像データの撮影者ないし撮影ユーザに関する情報などであってももちろんよい。

【0022】

所定情報は、特定のｗｅｂページ上にて表示されうるものであれば当該ｗｅｂページのＵＲＬと位置付けられることが可能であるし、所定のアプリを起動させるための情報であってもよい。すなわち、特定画像データと所定情報とをリンクさせる方法としては、特定のｗｅｂページへのリンクを生成する場合のほか種々のものが考えられ、特に限定はされない。このような構成を採用することによって、特定画像を取得しさえすれば、特段の検索処理などを行わずとも、当該画像と関連する情報を手軽に取得することができる。

【0023】

なお、特定画像データと所定情報とのリンクの生成は、一のユーザによってのみ行うことができ、一の特定画像データにつき、複数のユーザがそれぞれ異なる所定情報とのリンクを生成することはできないようにすることが望ましい。つまり、特定画像データ、所定情報及びそれらのリンクはいずれも、一のユーザと関連付けられて保持される。いわゆるハッシュタグのように複数のユーザ間で共同利用が可能な態様にてリンクが生成できるようになると、当初ユーザによって意図された特定画像データと所定情報との関係性が不明確となり、情報発信の手段としての適性が揺らぐためである。

【0024】

リンク生成部で生成されたリンクは、当該生成したユーザが管理することができ、当該リンクの有効期限の設定やリンク先となる所定情報の編集又は削除、所定情報とリンクさせる特定画像データの変更等の種々の処理を行うことができる。当該構成を採用することで、期間限定の情報発信に用いたり、最新情報に連動した情報発信を行ったりすることができるようになる。

【0025】

「入力受付部」０２０２は、画像データの入力を受け付けるように構成されている。具体的な入力受付の態様は特に限定されない。一例としては、カメラで静止画又は動画を撮影することが考えられ、画像データは一の画像である場合に限定はされず、複数の画像データをまとめて一の画像データ群として相互に関連付けてその入力を受け付けてもよい。より具体的には、施設の外観や内装、看板や展示品等を撮影することが考えられ、当該処理によって施設等の画像データの入力を受け付ける。

【0026】

また、入力受付の別の一例として、ユーザによる能動的な処理を省力化する試みがあってもよい。具体的には、ドットプロジェクタや深度センサ、近接センサ、赤外線カメラなどのデバイスを一又は複数起動させ、被写対象の形状を種々の情報によって識別可能とし、それらの識別結果を画像データ化することも考えられる。当該構成によれば、画像データがもつ情報として、画像そのもののみならずその形状その他の情報もあわせて取得することができることから、ユーザにカメラの撮像処理を強いることなく画像データを取得することができ、ユーザのストレスを軽減することができる。

【0027】

なおこの時、入力を受け付ける画像データとして、バーコードや二次元コードその他のコード情報が化体されたコードの画像は入力受付の対象から除外される。本発明は、コード情報を用いることなく利用者に簡便な処理で情報へのアクセス手段を提供するための技術に関するものであって、バーコードや二次元コードをあらかじめ用意し、当該コードを読み取るような処理は、本発明の構成からは除外される。

【0028】

「識別判断部」０２０３は、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断するように構成されている。具体的には、受け付けた画像データが、複数存在する特定画像データのうちどれかと関連性があるかどうかを判断し、受け付けた画像データからどのような所定情報へのリンクが可能かを識別できるようにする。

【0029】

関連性の判断は「画像識別モデル」０２１０を用いて行うところ、まずこの画像識別モデルについては、初期データに基づいて学習を行うことで初期学習済モデルを生成することが考えられる。具体的には学習のために用いるノードと正解値を用意することになる。

【0030】

一例をあげると、まず特定の施設の外景や内装、商品等の画像を初期データ（学習用データ）として用意し、それらの画像に関する種々の属性情報を入力ノードとして用いる。画像を識別するための正解値としては、当該属性情報などをもとに評価関数を用いて付与する。これらの情報を初期データとして組み合わせることで訓練データとし、畳み込みニューラルネットワークその他の形式とする機械学習を行うことで初期学習モデルを生成する。まずはこの初期学習モデルを画像識別モデルとして採用し、画像データを入力データとして画像識別処理を行うことが可能である。ちなみに、ここでは特定画像データと関連しない画像データに関するルール、すなわち非正解値を導くための評価関数その他のルールをあわせて保持してもよい。

【0031】

なお、初期学習モデルに対しては、一の特定画像データに対して他の画像データを用いて追加学習を行い、複数の個別画像識別モデルを生成したうえで、それらを統合処理して汎用画像識別モデルを取得する構成も可能である。初期学習モデルでは、広く一般的な画像データに適用可能な画像識別モデルを生成することになるが、地域的な特徴、被写体としての特徴（施設か商品かなど）、天候や撮影時刻などの時期的な特徴その他画像取得時の特徴に合致するようなモデルとしての汎用性があるとは限らない。そこで統合処理として、複数の特徴に適用可能な個別画像識別モデルを複数生成し、それらを組み合わせることを可能とすることで、画像識別の精度を向上させることも可能である。

【0032】

なおここで、画像データに複数の特定画像データが含まれるか否かを判断するための複数画像識別ルールを備え、識別判断部において、受け付けた画像データを複数画像識別ルールを用いて識別する複数識別判断手段を備えるような構成を採用してもよい。具体的には、入力を受け付けた画像データと関連する特徴を有する特定画像データが複数あるかどうかを複数画像識別ルールを用いて判断する。複数画像識別ルールの一例としては、当該入力を受け付けた画像データに付与された属性情報と同一の属性情報を有する特定画像情報があるかどうかを判断するルールとすることが考えられる。

【0033】

また、一の画像データ中に複数のオブジェクトが写り込んでいる場合に、どのオブジェクトを特定画像データとして選択するかどうかもここでいう複数画像識別ルールに含まれうる。具体的には、写り込んでいるオブジェクトが画像データ全体に占める領域割合や、画像における配置位置その他の情報を用いて、一の画像のなかに複数の特定画像データがオブジェクトとして含まれていると判断される場合がありえ、そのような場合に複数画像識別ルールを用いて、一のオブジェクトを特定画像データとの識別のために用いる情報として採用するとの判断処理を行うことも可能である。当該構成を採用することにより、人込みや複数店舗が林立している場面の画像データの入力を受け付けた場合であっても、当該画像データから好適な所定情報にリーチすることができるようになる。

【0034】

複数識別判断手段において複数の特定画像データが含まれると判断される場合、当該複数の画像データを複数の画像識別モデルを用いて識別することとなり、より具体的には、複数回の画像データの入力と識別結果の出力を通じて識別結果を判別する構成が考えられる。

【0035】

例えば、夜間雨が降っている状況下で一の施設を斜めから撮影した画像の入力を受け付けた場合、当該画像を識別するため、例えば夜間撮影した画像を識別するための個別画像識別モデルと、降雨時に撮影した画像を識別するための個別画像識別モデルと、外部施設を撮影した画像を識別するための個別画像識別モデルを用いてそれぞれ画像識別を行うことが考えられる。これら複数の画像識別モデルを重畳的に用いて画像識別を行う構成を採用することで、識別精度の向上を実現可能である。

【0036】

なお、ここまでは一の画像データに対し複数の特定画像データが対応しうる場合について説明したが、そのほかにも複数の画像データの入力を受け付けて、それらの画像データをすべて一の画像識別モデルに入力することで所定の特徴量を取得し、当該特徴量をもとに特定の画像識別モデルとの整合性を識別するような処理を行うことももちろん可能である。例えば、深度センサその他の各種センサを用いることで特徴量を取得することなども含まれうる。

【0037】

また、入力受付部にて入力を受け付けた画像データに付随する情報である付随情報が含まれているかどうかを判断する付随情報判断部をさらに備えるとともに、識別判断部において、付随情報判断部にて付随情報が含まれると判断される場合に当該付随情報を用いて所定の特定画像データとの関連性を判断可能な付随情報利用判断手段をさらに有するような構成とすることも考えられる。

【0038】

なおここで、識別判断部では、画像識別モデルに加え、利用者に対して所定の質問を出力し、当該質問に対する回答をも用いて所定の特定画像データとの関連性を判断するような構成を採用してもよい。具体的には、当該画像を取得した場所にかつて訪れたことがあるか否かや画像取得時点の天気、当該画像の中に含まれる種々の要素のうち何に興味があるかなど、取得した画像の内容に関する質問や、画像取得時の天気や時間帯、過去訪問実績の有無等の外部情報に関する質問などを出力し、当該出力に対する回答を受け付ける構成が考えられる。

【0039】

このような質問は、当該質問に対する回答例とともにあらかじめ画像識別モデルとともに保持されている。そして、画像識別モデルのみを用いて特定画像データとの関連性を判断しようとする場合に、当該質問への回答内容を用いて画像識別モデルを用いた演算処理の処理結果の精度をより高めることができるため、結果として受け付けた画像データと特定画像データとの関連性の判断精度を向上させることが可能になる。

【0040】

「リンク先情報出力部」０２０４は、識別判断部での判断結果に応じて、リンク生成部にてリンクされた情報を出力するように構成されている。リンクされた情報は、店舗のウェブサイトやサービスサイト等のほか、特定の商品の情報ページなどであってもよいことは上述のとおりである。

【0041】

（実施例１）
以下では、本実施形態の画像識別システムを用いた実施例について、具体例を示して説明する。まず本発明は、ユーザの健康管理のために用いられることが可能である。すなわち、特定のユーザ又はヒト若しくは動物の身体の一部の部位の特定画像データと、当該部位の状態が表す健康管理に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある画像データの入力を受け付けると、当該受け付けた画像データにつき、画像識別モデルを用いて前記特定画像データとの関連性を判断し、その判断結果に応じてリンクされた健康管理に関連する情報を出力するようなサービスに用いることが考えられる。

【0042】

このような構成を採用することにより、例えば、患部と思われる部位の画像を撮影することで、特段医療に関する知識や情報を持ち合わせていなくても、当該部位一般や撮影された部位の状態に応じた症例や、病名、当該患部の緩和や治療のために必要な対応等に関する情報を取得でき、適切な対処をとりやすくすることができる。

【0043】

（実施例２）
ちなみに、ユーザの健康管理に際して本発明が用いられるケースはほかにも考えられ、例えば服薬指導のようなケースにも適用可能である。すなわち、特定の薬剤の包装された状態あるいは薬剤そのものの画像を特定画像データとし、当該薬剤に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある薬剤に関する画像データの入力を受け付けると、当該受け付けた画像データにつき、画像識別モデルを用いて前記画像データとの関連性を判断し、その判断結果に応じてリンクされた薬剤に関連する情報を出力するようなサービスに用いることが考えられる。

【0044】

主に薬剤については、調剤の際に薬剤師によって服薬指導が行われたり、処方された薬剤の服薬方法等に関する情報を「おくすり手帳」などに記載して交付されたりすることがある。そのようななかでこのような構成を採用することにより、出先などお薬手帳などを持ち合わせていない状態で服薬すべき薬に関する情報を正確に確認しようとするとき、画像識別モデルを用いることで、当該薬剤の服用方法や注意点（服用すべきタイミングは食前か否か、服用後眠くなる可能性の有無等）などを適時に把握可能に提供することができる。

【0045】

（実施例３）
また、本発明は人物のプロフィールを調べるために用いることが可能である。すなわち、特定の人物の顔の特定画像データと、当該人物のプロフィールに関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある人物の顔画像データの入力を受け付けると、当該受け付けた顔画像データにつき、画像識別モデルを用いて前記顔画像データとの関連性を判断し、その判断結果に応じてリンクされた人物のプロフィールに関連する情報を出力するようなサービスに用いることが考えられる。

【0046】

このような構成を採用することにより、長年会っておらず年齢等により見た目の印象が変わってしまった人についても、画像識別モデルを用いることで、当該人物が誰であるかを適格に識別し当該人物の情報を適時に提供することができる。また、テレビやインターネット等の画面上や、イベント等で見かけた芸能人やファッションモデル、スポーツ選手のように、名前はわからないがどんなプロフィールの持ち主であるかを知りたいと思ったときにも、当該システムを用いることで、適時にその人物の情報に接することができるようになる。

【0047】

（実施例４）
また、本発明は街頭で気になった商品の購入支援のために用いることが可能である。すなわち、特定の商品の特定画像データと、当該商品の詳細や販売先に関連する所定の情報をあらかじめリンクして生成しておき、ユーザからある商品の画像データの入力を受け付けると、当該受け付けた商品画像データにつき、画像識別モデルを用いて前記商品画像データとの関連性を判断し、その判断結果に応じてリンクされた商品に関連する情報を出力するようなサービスに用いることが考えられる。

【0048】

このような構成を採用することにより、テレビや映画などで写り込んだおしゃれな家具や洋服、街中で見かけたおしゃれな人が身に着けているアクセサリーや小物等を購入したいと思ったときに、当該商品の画像を取得することによって、手軽に当該商品の情報を取得し、その場で購入手続きまで完了させることができるようになる。

【0049】

＜具体的な構成＞
ここで図３を示す。同図は本実施形態の画像識別方法の機能的な各構成をまとめて一のハードウェアとして実現した際の構成の一例を示す概略図である。各装置はいずれも、それぞれ各種演算処理を実行するための「ＣＰＵ」０３０１と、「記憶装置（記憶媒体）」０３０２と、「メインメモリ」０３０３と、「入力インターフェース」０３０４、「出力インターフェース」０３０５、「ネットワークインターフェース」０３０６と、を備え、入出力インターフェースを介して、例えば「タッチパネル」０３０７や「ディスプレイ」０３０８などの外部周辺装置と情報の送受信を行う。また、ネットワークインターフェースを介して「利用者端末」０３０９などの外部装置と情報の送受信を行う。このネットワークインターフェースの具体的な態様は有線、無線を問わず、また、通信方法も直接、間接を問わない。よって特定の外部装置ないし同装置の利用者と紐づけられた第三者の管理するサーバとの間で情報の送受信を行ういわゆるクラウドコンピューティングの形式を採用することも可能である。

【0050】

記憶装置には以下で説明するような各種プログラムが格納されており、ＣＰＵはこれら各種プログラムをメインメモリのワーク領域内に読み出して展開、実行する。なお、これらの構成は、「システムバス」０３９９などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う（以上の構成の基本的な構成は、以下で説明する他の装置のいずれについても同様である。

【0051】

（リンク生成部の具体的な構成）
リンク生成部は、コンピュータプログラムとコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「リンク生成プログラム」０３１１をメインメモリに読み出して実行し、特定画像データ及び所定情報の入力を受け付けるとともに、それぞれをリンクさせるための処理を行い、当該処理結果をメインメモリの所定のアドレスに格納する。

【0052】

（入力受付部の具体的な構成）
入力受付部は、コンピュータプログラムとカメラなどのコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「入力受付プログラム」０３１２をメインメモリに読み出して実行し、画像データの入力を受け付け、当該受け付けた画像データをメインメモリの所定のアドレスに格納する。

【0053】

（識別判断部の具体的な構成）
識別判断部は、コンピュータプログラムとコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「識別判断プログラム」０３１３を「画像識別モデル」０３１５とともにメインメモリに読み出して実行し、入力受付プログラムの実行により受付けた画像データと所定の特定画像データとの関連性を判断する処理を行い、処理結果をメインメモリの所定のアドレスに格納する。

【0054】

（リンク先情報出力部の具体的な構成）
リンク生成部は、コンピュータプログラムとコンピュータハードウェアにより構成され、具体的には、ＣＰＵが記憶装置から「リンク先情報出力プログラム」０３１４をメインメモリに読み出して実行し、識別判断プログラムの実行により得られた処理結果に応じて、リンク生成プログラムを実行したことによりリンクされた情報を出力する処理を行う。

【0055】

＜処理の流れ＞
図４は、本実施形態の画像識別方法における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０４０１では、特定画像データと所定情報とをリンクさせる（リンク生成ステップ）とともに、ステップＳ０４０２では、画像データの入力を受け付ける（入力受付ステップ）。

【0056】

次にステップＳ０４０３では、画像識別モデルを用いて、受け付けた画像データと所定の特定画像データとの関連性を判断する処理を行う。ここでの判断結果が関連性ありとの内容である場合には、ステップＳ０４０４にて、識別判断ステップでの判断結果に応じたリンク生成ステップにてリンクされた情報を出力する（リンク先情報出力ステップ）。関連性なしとの内容である場合には、その後の処理を行わない。「関連する情報が見つからなかった」旨の情報であったり、判断結果に応じた関連性の程度に応じた他の情報を出力したりするような構成にしてももちろんよい。

【0057】

＜効果＞
以上の構成を採用する画像識別方法を利用することにより、商品の種類や形状とは関係なく、店舗の内装や外観、看板その他の画像を利用した顧客誘引のための仕組みを端末の処理能力に過度に依存することなく提供することが可能になる。

【0058】

＜＜実施形態２＞＞
＜概要＞
本実施形態の画像識別システムは、基本的には実施形態１に記載の画像識別システムと同様であるが、動画データに含まれる画像データを特定する画像データ特定部をさらに有するとともに、入力受付部が、画像データとして動画データをも入力受付する動画受付手段を有し、識別判断部は、画像データ特定部にて特定された画像データと所定の特定画像データとの関連性を判断する動画識別手段をさらに有する点を更なる技術的特徴として備えている。以下では、実施形態１で言及した点とは異なる上記特徴について詳しく説明をする。

【0059】

＜機能的構成＞
図５は、本実施形態の画像識別方法を一又は複数のコンピュータからなる一のシステムにて実現する場合の当該システムの機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別システム」０５００は、「リンク生成部」０５０１と、「入力受付部」０５０２と、「識別判断部」０５０３と、「リンク先情報出力部」０５０４と、「画像データ特定部」０５０５と、を有し、入力受付部は「動画受付手段」０５１２を、識別判断部は「動画識別手段」０５１３をそれぞれさらに有する。基本的な構成は、実施形態１の図２を用いて説明した画像識別システムと共通するため、以下では相違点である「画像データ特定部」０５０５と、「動画受付手段」０５１２と、「動画識別手段」０５１３の機能について説明する。

【0060】

「動画受付手段」０５１２は、入力受付部にて、画像データとして動画データをも入力受付するように構成されている。動画データが複数の画像フレームから構成されているデータであればよく、動画データは種々のフォーマットによって生成されるものであってその形式に特に限定はなく、音声データが含まれているかどうかも問わない。但し、本発明においては音声データを画像識別のために用いることは必須の構成要素ではない。

【0061】

「画像データ特定部」０５０５は、動画データに含まれる画像データを特定するように構成されている。動画データの入力を受け付けた際に、当該動画データを所定単位のフレームの画像データに切り出し、当該切り出された画像データの入力を動画データと関連付けて受け付けて特定することを意味する。動画のうちすべてのフレームを切り出して特定することも可能であるが、ユーザによる任意の選択を受け付けて、当該任意選択されたフレームのみを選択画像データとして特定する構成であってももちろんよい。

【0062】

なお、複数のフレームを選択することも可能である。この場合には、当該フレームに含まれる画像データを複合的に識別のために用いることになり、その場合には実施形態１で説明した複合画像識別ルールを用いることなどが考えられる。

【0063】

「動画識別手段」０５１３は、識別判断部にて、画像データ特定部にて特定された画像データと所定の特定画像データとの関連性を判断するように構成されている。具体的には、特定された画像データと特定画像データとの関連性を「画像識別モデル」０５１０を用いて判断する。

【0064】

＜具体的な構成＞
本実施形態の画像識別システムを構成する各装置のハードウェア構成は、基本的には、図３を用いて説明した実施形態１の画像識別システムにおけるハードウェア構成と同様である。そこで以下については、これまで説明していない「画像データ特定部」、「動画受付手段」、「動画識別手段」の具体的な処理について説明する。

【0065】

（動画受付手段の具体的な構成）
動画受付手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、入力受付プログラムを実行する際にＣＰＵが記憶装置から「動画受付サブプログラム」をメインメモリに読み出して実行し、画像データとして動画データの入力を受付けてメインメモリの所定のアドレスに格納する。

【0066】

（画像データ特定部の具体的な構成）
画像データ特定部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「動画データ特定プログラム」をメインメモリに読み出して実行し、動画受付サブプログラムの実行により得られた動画データに含まれる画像データを特定する処理を行い、当該処理結果をメインメモリの所定のアドレスに格納する。

【0067】

（動画識別手段の具体的な構成）
動画識別手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、識別判断プログラムの実行に際してＣＰＵが記憶装置から「動画識別サブプログラム」をメインメモリに読み出して実行し、画像データ特定プログラムの実行により得られた画像データと所定の特定画像データとの関連性を判断する処理を行い、その結果をメインメモリの所定のアドレスに格納する。

【0068】

＜処理の流れ＞
図６は、本実施形態の画像識別方法における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０６０１では、特定画像データと所定情報とをリンクさせる（リンク生成ステップ）とともに、ステップＳ０６０２では、画像データとして動画データの入力を受け付ける（動画受付ステップ）。

【0069】

次にステップＳ０６０３では、動画データに含まれる画像データを特定する処理を行い（画像データ特定ステップ）、ステップＳ０６０４では、画像識別モデルを用いて、動画データから特定するかたちで受け付けた画像データと所定の特定画像データとの関連性を判断する処理を行う。ここでの判断結果が関連性ありとの内容である場合には、ステップＳ０６０５で、動画識別ステップでの判断結果に応じた、リンク生成ステップにてリンクされた情報を出力する（リンク先情報出力ステップ）。関連性なしとの内容である場合には、その後の処理を行わない。「関連する情報が見つからなかった」旨の情報であったり、判断結果に応じた関連性の程度に応じた他の情報を出力したりするような構成にしてももちろんよい。

【0070】

＜効果＞
本実施形態の動画識別システムを用いることにより、実施形態１の動画識別システムとは異なり、動的な情報をも踏まえた多様かつ詳細な情報提供が可能になる。

【0071】

＜＜実施形態３＞＞
＜概要＞
本実施形態の動画識別システムは、基本的には実施形態１又は２に記載の動画識別システムと同様であるが、入力受付部が、画像データとして仮想空間におけるオブジェクトデータをも入力受付する仮想空間データ受付手段を有し、識別判断部が、仮想空間データ受付手段にて受け付けたオブジェクトデータと所定の特定画像データとの関連性を判断する仮想空間データ識別手段をさらに有する点を更なる技術的特徴として備えている。以下では、実施形態１及び２で言及した点とは異なる上記特徴について詳しく説明をする。

【0072】

＜機能的構成＞
図７は、本実施形態の画像識別方法を一又は複数のコンピュータからなる一のシステムにて実現する場合の当該システムの機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別システム」０７００は、「リンク生成部」１００１と、「入力受付部」０７０２と、「識別判断部」０７０３と、「リンク先情報出力部」０７０４と、を有し、「入力受付部」は「仮想空間データ受付手段」０７１２を、「識別判断部」は「仮想空間データ識別手段」０７１３とを有する。基本的な構成は、実施形態１の図２を用いて説明した画像識別定システムと共通するため、以下では相違点である「仮想空間データ受付手段」０７１２と、「仮想空間データ識別手段」０７１３の機能について説明する。

【0073】

「仮想空間データ受付手段」０７１２は、入力受付部において、画像データとして仮想空間におけるオブジェクトデータをも入力受付するように構成されている。仮想空間におけるオブジェクトデータとは、例えば、ＡＲ（拡張現実）やＶＲ（仮想現実）などのコンテンツを用いて表現される二次元又は三次元その他多次元にて構成される所定のオブジェクトデータであり、一例としてはキャラクターやアイテム、アイコンなどで表現されることが考えられる。

【0074】

具体的な入力受付手段は、仮想空間において表示されるオブジェクトデータの選択入力により受け付けられる構成が考えられる。すなわち、ＡＲやＶＲを通じて表現されるコンテンツにおいて表示されるオブジェクトデータを、所定の方法により選択することで、当該選択されたオブジェクトデータの入力を受け付ける、といった具合である。

【0075】

「仮想空間データ識別手段」０７１３は、識別判断部において、仮想空間データ受付手段にて受け付けたオブジェクトデータと所定の特定画像データとの関連性を判断するように構成されている。具体的な関連性判断の方法は、これまで説明した画像データや動画データの関連性判断の具体的な方法と同様であってよい。ただ、オブジェクトデータが立体的に構成されている場合があることから、識別モデルを用いた判断においては、当該立体的な構成をもって特定画像データとの関連性を判断することになる。

【0076】

＜具体的な構成＞
本実施形態の画像識別システムを構成する各装置のハードウェア構成は、基本的には、図３を用いて説明した実施形態１の画像識別システムにおけるハードウェア構成と同様である。そこで以下については、これまで説明していない「仮想空間データ受付手段」「仮想空間データ識別手段」の具体的な処理について説明する。

【0077】

（仮想空間データ受付手段の具体的な構成）
仮想空間データ受付手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、入力受付プログラムの実行に際してＣＰＵが記憶装置から「仮想空間データ受付サブプログラム」をメインメモリに読み出して実行し、画像データとして仮想空間におけるオブジェクトデータをも入力受付けたうえで、メインメモリの所定のアドレスに格納する。

【0078】

（仮想空間データ識別手段の具体的な構成）
仮想空間データ識別手段は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、識別判断プログラムの実行に際してＣＰＵが記憶装置から「仮想空間データ識別サブプログラム」をメインメモリに読み出して実行し、仮想空間データ受付サブプログラムの実行により得られた仮想空間データと所定の特定画像データとの関連性を判断する処理を行い、その結果をメインメモリの所定のアドレスに格納する。

【0079】

＜処理の流れ＞
図８は、本実施形態の画像識別システムにおける処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０８０１では、特定画像データと所定情報とをリンクさせる（リンク生成ステップ）とともに、ステップＳ０８０２では、画像データとして仮想空間データの入力を受け付ける（仮想空間データ受付ステップ）。

【0080】

次にステップＳ０８０３では、仮想空間データに含まれる画像データを特定する処理を行い（画像データ特定ステップ）、次にステップＳ０８０４では、画像識別モデルを用いて、受け付けた仮想空間データから特定するかたちで受け付けた画像データと所定の特定画像データとの関連性を判断する処理を行う。ここでの判断結果が関連性ありとの内容である場合には、、ステップＳ０８０５として、仮想空間データ識別ステップでの判断結果に応じて、リンク生成ステップにてリンクされた情報を出力する（リンク先情報出力ステップ）。関連性なしとの内容である場合には、その後の処理を行わない。「関連する情報が見つからなかった」旨の情報であったり、判断結果に応じた関連性の程度に応じた他の情報を出力したりするような構成にしてももちろんよい。

【0081】

＜効果＞
本実施形態の画像識別システムを用いることにより、実施形態１又は２の画像識別システムとは異なり、ＡＲやＶＲといった仮想空間で表現される種々の情報についても、適時に関連する情報を取得し、その提供を受けることが可能になる。

【0082】

＜＜実施形態４＞＞
＜概要＞
ここまでは、画像識別をするための一連のシステム、方法及びプログラムに関する発明について実施形態及び実施例を用いて説明してきたが、本発明においては、当該画像識別について、外部装置との間で情報の送受信を行うことにより、携帯端末上で処理結果を確認可能に実現することも可能である。そこで本実施形態では、実施形態１で説明した技術的特徴を基本的な特徴としつつ、上記特徴について説明する。

【0083】

図９は、実施形態１ないし３までで説明した画像識別方法に関連して、当該識別対象の画像を取得するための携帯端末の機能ブロックの一例を示す図である。同図において示されているように、本実施形態の「画像識別端末」０９００は、「撮像機能制御部」０９０１と、「特徴量抽出部」０９０２と、「特徴量出力部」０９０３と、「所定情報取得部」０９０４と、「所定情報出力部」０９０５と、を有する。

【0084】

なお、本実施形態の画像識別端末はハードウェア及びソフトウェアにて構成される携帯端末であって、携帯電話やスマートフォン、タブレット型携帯端末その他可搬型のネットワークに接続可能な端末装置であれば、以下で述べる機能を実行するためのプログラムを実行するための構成である必要があるほかの構成については一般的な携帯端末であってよい。

【0085】

なお本実施形態の携帯端末には、画像識別モデルが保持されている。画像識別モデルは実施形態１で説明したように、それ自体がプログラムとして画像識別処理を行う。

【0086】

＜機能的構成＞
「撮像機能制御部」０９０１は、画像識別端末の撮像機能を制御するように構成されている。具体的には、カメラによって実現可能であり、ユーザの指定する特定の撮影領域を撮影したり、タイマー機能を使って一定時間の経過後に撮影をしたり、連写機能を使って一定時間内に複数回の撮影をしたりすることなどが考えられる。

【0087】

「特徴量抽出部」０９０２は、画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出するように構成されている。どのような態様にて画像データの特徴量を抽出するかについては適宜の方法が考えられ、一の画像データのみを用いる場合、複数の画像データを用いる場合、動画データを用いる場合、画像データに加え所定の質問を出力し当該質問への回答内容をも踏まえる場合、その他種々の方法により特徴量を抽出する。

【0088】

ここで画像データから特徴量を抽出する際には、当該画像データに含まれる文字の有無又はその内容を識別して特徴量を抽出するような構成を採用してもよい。具体的には例えば、ＯＣＲ（光学文字認識システム）その他のプログラムを実行することにより画像データに文字が含まれるか否か、含まれる場合の文字の内容を識別する。撮影対象となる画像データに文字が含まれている場合には、当該文字が撮影対象の商品名・サービス名・施設名・人物名などであったり、当該撮影対象に関連する名称等である場合も少なくなかったりすることから、当該文字情報と撮影された画像データとを組み合わせて特徴量を抽出することで、被写体となっている画像の識別精度を向上させ、もって精度の高い特徴量をもってリンク先の所定情報取得に資することができる。

【0089】

次に複数の画像データを用いる場合には、例えば、複数の画像を用いて一のオブジェクトを推定し、当該推定結果に基づいて特徴量を抽出するような構成を採用してもよい。具体的に言えば、撮影された向きの異なる複数の画像から、一の立体的なオブジェクトの形状を推定し、当該推定された形状から特徴量を抽出するような構成である。当該構成を採用すれば、被写体となっている画像の識別精度を向上させ、もって精度の高い特徴量をもってリンク先の所定情報取得に資することができる。

【0090】

なおさらに、携帯端末ではアンテナ等を介して位置情報をも取得する構成をさらに備えておき、画像識別モデルに加え、取得した位置情報をも用いて特徴量を抽出するように構成されてもよい。具体的には例えば、ＧＰＳ（全地球測位システム）その他の外部システムと情報の送受信を通じて当該携帯端末ないし端末を操作するユーザの位置情報を取得する。撮影対象となる画像データが、店舗や施設などのような不動産又は、当該店舗等と関連付けられている商品や人物、サービス等である場合には、位置情報と撮影された画像データとを組み合わせて特徴量を抽出することでもまた、被写体となっている画像の識別精度を向上させ、もって精度の高い特徴量をもってリンク先の所定情報取得に資することができる。

【0091】

「特徴量出力部」０９０３は、抽出した特徴量を外部サーバに出力するように構成されている。ここでは、抽出した特徴量は、例えば撮影された画像データや位置情報、その他のデータ又は情報とともに出力されず、特徴量のみを出力する構成をすることが望ましい。外部サーバに出力する構成を採用するのは、特徴量と所定情報の紐づけのための処理を携帯端末で行わず軽負担にて所定情報を取得する点にあるので、ここで情報の送受信に負荷をかけることは避けた方が、より本実施形態の携帯端末の利点を生かせるからである。

【0092】

「所定情報取得部」０９０４は、前記特徴量出力部を通じて出力した特徴量と紐づけて識別された所定情報を取得するように構成されている。外部サーバにおける特徴量と所定情報との識別処理については、適宜の方法によって実現されてよく、本発明の特徴とは直接関係のない設計事項である。いっぽう所定情報の取得については、所定情報そのものの取得のほか、所定情報とリンクされたＵＲＬその他の情報を取得する構成も含まれてよい。なおここで、外部サーバにて、出力した特徴量と紐づけられた所定情報が存在しないと判断された場合には、当該存在しない旨及び関連する他の情報を所定情報として出力され、当該出力された情報を所定情報として取得する構成も考えられる。

【0093】

「所定情報出力部」０９０５は、取得した所定情報を出力するように構成されている。所定情報取得部にて説明したように、所定情報そのものを表示出力する方法のほか、当該所定情報とリンクされたＵＲＬその他の情報を表示出力場合も含まれ、この場合には、当該リンクを通じて所定情報を表示出力する構成が考えられる。

【0094】

＜具体的な構成＞
ここで図１０を示す。同図は本実施形態の携帯端末の構成の一例を示す概略図であり、各種演算処理を実行するための「ＣＰＵ」１００１と、「記憶装置（記憶媒体）」１００２と、「メインメモリ」１００３と、「入力インターフェース」１００４、「出力インターフェース」１００５、「ネットワークインターフェース」１００６と、を備え、入出力インターフェースを介して、例えば「カメラ」１００７や「ディスプレイ」１００８などの外部周辺装置と情報の送受信を行う。また、ネットワークインターフェースを介して「外部サーバ」１００９などの外部装置と情報の送受信を行う。

【0095】

記憶装置には以下で説明するような各種プログラムが格納されており、ＣＰＵはこれら各種プログラムをメインメモリのワーク領域内に読み出して展開、実行する。なお、これらの構成は、「システムバス」１０９９などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う（以上の構成の基本的な構成は、以下で説明する他の装置のいずれについても同様である。

【0096】

（撮像機能制御部の具体的な構成）
撮像機能制御部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「撮像機能制御プログラム」１０１１をメインメモリに読み出して実行し、ユーザの指示に従い、カメラ等を用いた画像撮像機能を制御する処理を行う。

【0097】

（特徴量抽出部の具体的な構成）
特徴量抽出部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「画像識別モデル」１０１５及び「特徴量抽出プログラム」１０１２をメインメモリに読み出して実行し、撮像機能により撮像された画像データを画像識別モデルに入力し、当該入力結果として得られる特徴量を抽出し、メインメモリの所定のアドレスに格納する。

【0098】

（特徴量出力部の具体的な構成）
特徴量出力部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「特徴量出力プログラム」１０１３をメインメモリに読み出して実行し、ネットワークを介してあらかじめ指定された外部サーバに対して、特徴量抽出プログラムの実行により得られた特徴量を出力する。

【0099】

（所定情報取得部の具体的な構成）
所定情報取得部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「所定情報取得プログラム」１０１４をメインメモリに読み出して実行し、ネットワークを介して外部サーバから特徴量と紐づけて識別された所定情報を取得しメインメモリの所定のアドレスに格納する。

【0100】

（所定情報出力部の具体的な構成）
所定情報出力部は、具体的にはコンピュータプログラムとコンピュータハードウェアにより構成され、ＣＰＵが記憶装置から「所定情報出力プログラム」１０１５をメインメモリに読み出して実行し、所定情報取得プログラムの実行により得られた情報を表示その他の態様により出力する。

【0101】

＜処理の流れ＞図１１は、本実施形態の画像識別端末における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ１１０１では撮像機能を起動させ画像データを取得し（撮像機能制御ステップ）、ステップＳ１１０２では、画像識別モデルを用いて、撮像機能により撮像された画像データの特徴量を抽出（特徴量抽出ステップ）した後、ステップＳ１１０３では抽出した特徴量を外部サーバに出力する（特徴量出力ステップ）、その後ステップＳ１１０４で前記出力した特徴量と紐づけて識別された所定情報を外部サーバから取得する（所定情報取得ステップ）と、ステップＳ１１０５として取得した所定情報を出力する（所定情報出力ステップ）。

【0102】

＜効果＞
以上の構成を採用する携帯端末を利用することにより、自端末内で特徴量と所定情報との紐づけのための処理負荷をかけることなく、低負荷で画像識別結果をユーザに提供することができる。

【符号の説明】

【0103】

０２００・・・画像識別システム、０２０１・・・リンク生成部、０２０２・・・入力受付部、０２０３・・・識別判断部、０２０４・・・リンク先情報出力部、０２１０・・・画像識別モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】