特開 2023-177395 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177395

(43)【公開日】2023-12-14

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06T 7/90 20170101AFI20231207BHJP

【ＦＩ】

G06T7/90 Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022090022

(22)【出願日】2022-06-02

(71)【出願人】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】清水 智行

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA21

5L096DA01

5L096DA02

5L096GA40

5L096GA41

5L096GA51

5L096HA11

(57)【要約】

【課題】物体が示す色のみを表示している場合と比して、物体が示す色の意味を理解する際にユーザにかかる手間を軽減させる。
【解決手段】画像処理サーバ２０は、物体毎に、当該物体が示す色と当該色と認識されるためのＲＧＢ値の範囲と、当該色の意味を示す情報として表示される表示コンテンツと、を対応付けして設定される意味情報を記憶する意味情報記憶部２５と、ユーザ端末１０から撮影画像を取得する画像取得部２１と、撮影画像を解析することで撮影されている物体を特定すると共に特定した物体が示す色を特定する物体特定部２２と、意味情報を参照することで、物体特定部２２により特定された物体が示す色の意味を特定し、撮影画像の中の物体に、当該物体が示す色の意味を示す表示コンテンツを関連付けて表示するための表示画像を生成する表示情報生成部２３と、表示画像をユーザ端末１０に表示させるＵＩ制御部２４と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
カラー画像を取得し、
取得したカラー画像の中の物体及び該物体が示す色を特定し、
特定した前記物体が示す色の意味を特定し、
取得したカラー画像の中の物体に、前記物体が示す色の意味を示す情報を関連付けて表示する、
ことを特徴とする情報処理装置。

【請求項2】

前記プロセッサは、ユーザにより入力された情報を参照して前記物体を特定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記カラー画像から前記物体として複数の候補が抽出される場合、前記物体の候補をユーザに提示し、
前記物体の候補の中からユーザに選択された物体を、前記カラー画像の中の物体と特定する、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、ユーザにより入力された前記カラー画像の内容を説明する情報を、前記物体を特定するための情報として利用することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記カラー画像が動画像の場合、動画像の時系列的変化を解析することによって前記カラー画像の中の物体の状況を推測し、
推測した前記物体の状況を、前記物体を特定するための情報として利用する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記プロセッサは、特定した前記物体の色の意味に応じて、前記物体が示す色の意味を示す情報の表示を制御することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記プロセッサは、
物体に、該物体が取り得る色の範囲を示す１又は複数の色相情報と、前記カラー画像から特定した前記物体の色が前記色相情報により特定される色の範囲に該当する場合に表示する表示コンテンツと、が対応付けて設定される意味情報を取得し、
前記意味情報を参照することで、前記カラー画像から特定した前記物体の色に対応する表示コンテンツを、前記物体が示す色の意味を示す情報として表示する、
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記プロセッサは、前記物体が食物の場合において、食するに適していない状態の部分が前記食物に含まれている場合、前記意味情報を参照することによって前記物体が示す色の意味を示す情報として該部分が食するに適していないことを意味する情報を、前記カラー画像の中の該部分に関連付けて表示することを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記プロセッサは、前記物体が食物の場合において、食するに適している状態の部分が前記食物に含まれている場合、前記意味情報を参照することによって前記物体が示す色の意味を示す情報として該部分が食するに適していることを意味する情報を、前記カラー画像の中の該部分に関連付けて表示することを特徴とする請求項７に記載の情報処理装置。

【請求項10】

前記プロセッサは、ユーザの色の見え方に応じて、前記物体が示す色の意味を示す情報の表示を制御することを特徴とする請求項１に記載の情報処理装置。

【請求項11】

前記プロセッサは、ユーザの色の見え方に応じて、前記表示コンテンツの表示色を制御することを特徴とする請求項７に記載の情報処理装置。

【請求項12】

前記プロセッサは、ユーザの色の見え方に応じて、前記カラー画像の中の物体の表示色を制御することを特徴とする請求項１に記載の情報処理装置。

【請求項13】

コンピュータに、
カラー画像を取得する機能、
取得したカラー画像の中の物体及び該物体の色を特定する機能、
特定した前記物体の色の意味を特定する機能、
取得したカラー画像の中の物体に、前記物体が示す色の意味を示す情報を関連付けて表示する機能、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

一般に、色覚異常者は、物体の色の見え方が一般の人と異なるため、視覚を通じて色の情報を正確に得ることができない。このため、色覚異常者に対して、色の情報を正しく伝えようとする技術が種々提案されている。

【0003】

例えば、特許文献１では、画像データを表示するレイヤーとは異なるレイヤーに、画像データの指定位置における色名を、その指定位置に配置する技術が提案されている。

【0004】

また、特許文献２では、カラー画像における領域毎の色を判別し、判別した色を当該領域に合成して提供する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１－０６６５２３号公報

【特許文献2】特開２００９－１００３１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、画像中の物体が示す色が、その物体においてどのような意味を成しているのか、ユーザ自身で考えなければいけなかった。

【0007】

本発明は、物体が示す色のみを表示している場合と比して、物体が示す色の意味を理解する際にユーザにかかる手間を軽減させることを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る情報処理装置は、プロセッサを備え、前記プロセッサは、カラー画像を取得し、取得したカラー画像の中の物体及び該物体が示す色を特定し、特定した前記物体が示す色の意味を特定し、取得したカラー画像の中の物体に、前記物体が示す色の意味を示す情報を関連付けて表示する、ことを特徴とする。

【0009】

また、前記プロセッサは、ユーザにより入力された情報を参照して前記物体を特定することを特徴とする。

【0010】

また、前記プロセッサは、前記カラー画像から前記物体として複数の候補が抽出される場合、前記物体の候補をユーザに提示し、前記物体の候補の中からユーザに選択された物体を、前記カラー画像の中の物体と特定する、ことを特徴とする。

【0011】

また、前記プロセッサは、ユーザにより入力された前記カラー画像の内容を説明する情報を、前記物体を特定するための情報として利用することを特徴とする。

【0012】

また、前記プロセッサは、前記カラー画像が動画像の場合、動画像の時系列的変化を解析することによって前記カラー画像の中の物体の状況を推測し、推測した前記物体の状況を、前記物体を特定するための情報として利用する、ことを特徴とする。

【0013】

また、前記プロセッサは、特定した前記物体の色の意味に応じて、前記物体が示す色の意味を示す情報の表示を制御することを特徴とする。

【0014】

また、前記プロセッサは、物体に、該物体が取り得る色の範囲を示す１又は複数の色相情報と、前記カラー画像から特定した前記物体の色が前記色相情報により特定される色の範囲に該当する場合に表示する表示コンテンツと、が対応付けて設定される意味情報を取得し、前記意味情報を参照することで、前記カラー画像から特定した前記物体の色に対応する表示コンテンツを、前記物体が示す色の意味を示す情報として表示する、ことを特徴とする。

【0015】

また、前記プロセッサは、前記物体が食物の場合において、食するに適していない状態の部分が前記食物に含まれている場合、前記意味情報を参照することによって前記物体が示す色の意味を示す情報として該部分が食するに適していないことを意味する情報を、前記カラー画像の中の該部分に関連付けて表示することを特徴とする。

【0016】

また、前記プロセッサは、前記物体が食物の場合において、食するに適している状態の部分が前記食物に含まれている場合、前記意味情報を参照することによって前記物体が示す色の意味を示す情報として該部分が食するに適していることを意味する情報を、前記カラー画像の中の該部分に関連付けて表示することを特徴とする。

【0017】

また、前記プロセッサは、ユーザの色の見え方に応じて、前記物体が示す色の意味を示す情報の表示を制御することを特徴とする。

【0018】

また、前記プロセッサは、ユーザの色の見え方に応じて、前記表示コンテンツの表示色を制御することを特徴とする。

【0019】

また、前記プロセッサは、ユーザの色の見え方に応じて、前記カラー画像の中の物体の表示色を制御することを特徴とする。

【0020】

本発明に係るプログラムは、コンピュータに、カラー画像を取得する機能、取得したカラー画像の中の物体及び該物体の色を特定する機能、特定した前記物体の色の意味を特定する機能、取得したカラー画像の中の物体に、前記物体が示す色の意味を示す情報を関連付けて表示する機能、を実現させる。

【発明の効果】

【0021】

請求項１に記載の発明によれば、物体が示す色のみを表示している場合と比して、物体が示す色の意味を理解する際にユーザにかかる手間を軽減させることができる。

【0022】

請求項２に記載の発明によれば、カラー画像を解析しただけでは物体を特定できない場合でも、ユーザからの情報を参照することで物体を特定することができるようになる。

【0023】

請求項３に記載の発明によれば、正しい物体をユーザに選択させることができる。

【0024】

請求項４に記載の発明によれば、ユーザにより入力された情報を有効利用して、物体を特定することができる。

【0025】

請求項５に記載の発明によれば、動画像から得られる情報を有効利用して、物体を特定することができる。

【0026】

請求項６に記載の発明によれば、物体が示す色の意味に応じて、物体が示す色の意味を示す情報を選択的に表示することができる。

【0027】

請求項７に記載の発明によれば、意味情報に基づいて物体が示す色の意味を示す情報の表示を制御することができる。

【0028】

請求項８に記載の発明によれば、食するに適していない状態である部分をユーザに知らせることができる。

【0029】

請求項９に記載の発明によれば、食するに適している状態である部分をユーザに知らせることができる。

【0030】

請求項１０に記載の発明によれば、カラー画像を参照するユーザの見え方に適合させて情報を提供することができる。

【0031】

請求項１１に記載の発明によれば、ユーザにとって識別しやすい色で表示コンテンツを表示することができる。

【0032】

請求項１２に記載の発明によれば、ユーザにとって色を識別しにくいことによる不都合を解消することができる。

【0033】

請求項１３に記載の発明によれば、物体が示す色のみを表示している場合と比して、物体が示す色の意味を理解する際にユーザにかかる手間を軽減させることができる。

【図面の簡単な説明】

【0034】

【図1】本実施の形態における画像処理システムを示すブロック構成図である。

【図2】本実施の形態における意味情報記憶部に記憶される意味情報のデータ構成の一例を示す図である。

【図3】本実施の形態における表示画像生成処理を示すフローチャートである。

【図4】（ａ）は撮影画像の例を示す図、（ｂ）は撮影画像に対して表示コンテンツを合成して生成した合成画像をユーザに見える状態で示す図である。

【図5】（ａ）は撮影画像の例を示す図、（ｂ）は撮影画像に対して他の表示コンテンツを合成して生成した合成画像をユーザに見える状態で示す図である。

【図6】（ａ）は撮影画像の例を示す図、（ｂ）は撮影画像の中の物体をユーザに選択させる場合の例を示す図である。

【図7】（ａ）は撮影画像の例を示す図、（ｂ）は撮影画像の中の物体が示す色の意味のうち表示させる意味をユーザに選択させる場合の例を示す図である。

【図8】本実施の形態において、りんごが示す色の意味として密漏れがユーザにより選択された場合の表示画像の例を示す図である。

【図9】本実施の形態において、りんごが示す色の意味としてカビがユーザにより選択された場合の表示画像の例を示す図である。

【発明を実施するための形態】

【0035】

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

【0036】

図１は、本実施の形態における画像処理システムを示すブロック構成図である。図１には、ユーザ端末１０及び画像処理サーバ２０を有する画像処理システムが示されている。ユーザ端末１０と画像処理サーバ２０は、種々の形態のネットワーク、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ） 、あるいはこれらを組み合わせて構築されたネットワークを介して双方向に通信可能に接続される。なお、画像処理システムには、複数のユーザ端末１０が含まれていてもよいが、それぞれに後述する同等の機能を有していればよいので、図１には便宜的に１台のユーザ端末１０のみ図示している。

【0037】

ユーザ端末１０は、画像を参照するユーザにより使用される端末装置である。ユーザ端末１０は、例えばスマートフォン、タブレット端末、眼鏡型デバイス等である。ユーザ端末１０は、プロセッサ、記憶手段、通信手段等を搭載した、従前から存在するハードウェア構成にて実現できるが、本実施の形態の場合、カラー画像をカラー画像のまま画面に表示可能な機能を有している必要がある。また、本実施の形態におけるユーザ端末１０は、カメラ等の撮影手段を有しており、カラー画像を生成する機能を合わせて有している。

【0038】

ユーザ端末１０の使用者（つまり、「ユーザ」）として、本実施の形態では、色覚異常者を想定している。「色覚異常者」は、色覚が異常でない一般の人（以下、「色覚健常者」）以外の者であり、全色盲者、色盲者、色弱者の総称として用いる。もちろん、本実施の形態において提供する情報、すなわち物体が示す色を示す情報は、色覚健常者にとっても有用な情報になり得るので、色覚健常者がユーザ端末１０を使用してもよい。

【0039】

ユーザ端末１０は、図１に示すように、撮影部１１、画像送信部１２及びＵＩ（ユーザインタフェース）部１３を有している。撮影部１１は、ユーザ端末１０に搭載の撮影手段を使用して撮影することでカラー画像を生成する。画像送信部１２は、撮影部１１により生成されるカラー画像を画像処理サーバ２０へ送信する。ＵＩ部１３は、ユーザ端末１０に搭載の液晶タッチパネル等のユーザインタフェースにより実現され、ユーザによる入力操作を受け付けたり、またユーザ端末１０で用意される画像又は画像処理サーバ２０から送信されてくる画像を表示したりする。

【0040】

ところで、撮影部１１は、前述したようにユーザ操作に応じて物体が撮影対象として撮影されてカラー画像を生成する。「物体」とは、一般に空間的な大きさ・形をもつときの物質と定義されている。物体は、食物の場合、例えば果物、肉、魚等があり、また、それぞれに多数の種類が存在する場合がある。また、例えば魚の場合、同一種の魚でも焼き魚、煮魚、刺身等形態が異なる場合がある。本実施の形態では、種類や形態等が異なる場合には異なる物体として取り扱う場合がある。

【0041】

ユーザ端末１０における各構成要素１１～１３は、ユーザ端末１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵで動作するプログラムとの協調動作により実現される。

【0042】

画像処理サーバ２０は、本発明に係る情報処理装置に相当する。本実施の形態における画像処理サーバ２０は、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、画像処理サーバ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ（ＨＤＤ）等の記憶手段、通信手段を搭載する。また、意味情報のメンテナンス等をローカルに行うために、マウスやキーボード等の入力手段及びディスプレイ等の表示手段を含むユーザインタフェースを接続して構成してもよい。

【0043】

画像処理サーバ２０は、画像取得部２１、物体特定部２２、表示情報生成部２３、ＵＩ制御部２４及び意味情報記憶部２５を有している。なお、本実施の形態の説明に用いない構成要素については、図から省略している。画像取得部２１は、ユーザ端末１０から送信されてくるカラー画像を取得する。物体特定部２２は、画像取得部２１により取得されたカラー画像を解析することで、カラー画像に含まれる物体、すなわち撮影部１１が撮影した物体を特定する。また、物体特定部２２は、特定した物体が示す色を特定する。表示情報生成部２３は、意味情報を参照することで、物体特定部２２により特定された物体が示す色の意味を特定し、カラー画像の中の物体に、当該物体が示す色の意味を示す情報を関連付けて表示するための表示画像を表示情報として生成する。ＵＩ制御部２４は、表示情報生成部２３により生成された表示情報のユーザ端末１０への表示を制御する。また、ＵＩ制御部２４は、表示情報を生成する過程において、ユーザ端末１０へ情報を送信したり、ユーザにより入力指定された情報を受け付けたりする。

【0044】

図２は、本実施の形態における意味情報記憶部２５に記憶される意味情報のデータ構成の一例を示す図である。本実施の形態が提供する機能を適用するためには、必要な意味情報を意味情報記憶部２５に事前に設定しておく必要がある。意味情報には、物体毎に、当該物体が示す色の意味を示す情報が設定される。具体的には、意味情報は、物体に、当該物体が示す色に関する情報「色（ＲＧＢ値の範囲）」、及び当該色の意味を示す情報「表示コンテンツ」を対応付けして設定される。

【0045】

物体には、当該物体の識別情報として、物体の名称と物体ＩＤが設定される。本実施の形態では、意味情報の「物体（物体ＩＤ）」に名称及び物質ＩＤが登録されている物体のみが、物体として取り扱われる。色に関する情報は、当該物体が示す色と、当該色と認識されるためのＲＧＢ値の範囲が設定される。より詳細には、色に関する情報は、当該物体が取り得る色の範囲を、色相情報であるＲＧＢの値で範囲指定する。例えば、物体がりんごと特定された場合において、そのりんごの画像の中にＲＧＢ（１０２，０，０）からＲＧＢ（１５３，５１，０）の値の範囲の中に入る部分は、茶色と認識される。なお、図２に例示するように、一の物体に対して複数の色相情報が対応付けられる場合がある。

【0046】

表示コンテンツは、カラー画像に含まれる物体の色が色相情報により特定される色の範囲に該当する場合にユーザ端末１０の画面上に、当該物体の中の当該色の箇所に関連付けて表示されるコンテンツである。本実施の形態における表示コンテンツは、シンボル及び説明文を含む。シンボルは、カラー画像に含まれる物体上に重畳させて表示される記号である。文字以外の記号を用いた場合、ユーザは、一般に画面上のシンボルを参照しただけでは、そのシンボルの意味することがわからないかもしれないので、説明文は、そのシンボルの意味することを説明するテキスト情報である。詳細は後述するが、例えば、物体がりんごと特定された場合において、そのりんごの画像の中に茶色と特定される箇所が存在する場合、その茶色と特定された箇所にシンボルが関連付けして表示され、その箇所には密漏れが起きているとシンボルの説明文が表示される。

【0047】

図２に示す意味情報では、「りんご」を物体の一例として設定している。りんごは、外皮、また果実部分にも種々の色を有するが、図２では、ＲＧＢ値の範囲で示した色、例えば、カラー画像の中の物体がりんごと特定した場合において、りんごの画像の領域内にＲＧＢ値（１０２，０，０）－（１５３，５１，０）の範囲となる画素の色は茶色と特定する。また、りんごの画像の領域内にＲＧＢ値（０，０，０）－（１１９，１１９，１１９）の範囲となる画素の色は黒色と特定する。なお、図２に示す階調値は、あくまで例示であって、物体等によって０～２５５の範囲から個別にＲＧＢの値をそれぞれ設定する。すなわち、例えば黒色とするＲＧＢ値の範囲は、物体によって異なり、同値とは限らない。

【0048】

そして、図２に例示する意味情報では、カラー画像中のりんご画像の領域において色が茶色と特定された範囲は、密漏れが発生している範囲と認定する。すなわち、図２に例示する意味情報では、りんごという物体において、茶色というりんごを示す色は、密漏れを意味していることになる。同様に、黒色というりんごを示す色は、カビを意味していることになる。

【0049】

なお、図２に例示する意味情報では、説明の便宜のために、人がりんごを食するに適していない状態として、茶色の意味する密漏れと黒色の意味するカビの設定例のみを示しているが、人がりんごを食するに適している状態を示す色を設定してもよい。また、りんごには、紅玉や王林など多数の種類が存在するので、物体として「りんご」と設定するのではなく、りんごの種類毎に設定するようにしてもよい。

【0050】

また、図２には、説明の便宜のために、「焼肉」を物体とする意味情報を例示している。肉は、生、焼肉等状態によって人が肉を食するに適している状態や適していない状態が異なってくる。また、鶏肉、牛肉等肉の種類のよっても物体の示す色がどのような意味を成すのか異なってくる。従って、実際には、肉の種類や状態毎に異なる物体として意味情報に設定するのが望ましい。

【0051】

画像処理サーバ２０における各構成要素２１～２４は、画像処理サーバ２０を形成するコンピュータと、コンピュータに搭載されたＣＰＵで動作するプログラムとの協調動作により実現される。また、意味情報記憶部２５は、画像処理サーバ２０に搭載されたＨＤＤにて実現される。あるいは、ＲＡＭ又は外部にある記憶手段をネットワーク経由で利用してもよい。

【0052】

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。

【0053】

色覚異常者は、例えば野菜の鮮度が落ち、腐って茶色に変色していることがわかりにくい。また、色覚異常者は、例えば焼肉の際に、肉が生焼けでまだ食べるのに適していない状態であっても、赤色を識別できないために焼けたと勘違いするかもしれない。色覚のタイプや個人差はあるかもしれないが、色覚異常者は、他の色との識別が困難な色もあり、上記のように不都合なことが起こりうる。

【0054】

また、物体が示す色が、その物体においてどのような意味を成しているのか、わからない場合がある。例えば、物体が赤色であることがわかったとしても、その物体において赤色が何を意味しているのか、ユーザ自身で判断しなければならない場合がある。

【0055】

そこで、本実施の形態においては、物体が示す色が、どのような意味を成しているのかという情報を提供するようにした。具体的には、「赤」や「緑」と、物体が示す色を単に提供するのではなく、その物体において、赤色や緑色というのはどのような意味があるのかという補助的な情報を提供するようにした。

【0056】

次に、本実施の形態における動作について説明する。まず、最初に本実施の形態における画像処理サーバ２０の処理結果として得られる表示画像について説明する。

【0057】

図４には、焼肉を物体の例としたカラー画像が示されている。図４の左側（ａ）は、ユーザ端末１０にて撮影された撮影画像の例を示す図である。本実施の形態における撮影画像は、常にカラー画像とする。図４の右側（ｂ）は、図４（ａ）に示す撮影画像に対して表示コンテンツを合成して生成した表示画像である。表示画像は、本来、撮影画像に表示コンテンツを合成して生成するので、カラー画像である。但し、図４（ｂ）には、色覚異常者が見えるような状態の画像（以下、「認識画像」）として図示している。ここで例示する色覚異常者は、赤色を他の色と判別するのが困難なユーザを想定している。

【0058】

次に、本実施の形態において、ユーザ端末１０に表示させる表示画像を生成する表示画像生成処理について、図３に示すフローチャートを用いて説明する。ここでは、特に断らない限り、色覚異常者であるユーザが肉を自ら焼いて食べるシーンを例にして説明する。なお、撮影画像には、他の素材や調理器具等の他の物体も含まれるかもしれないが、ここでは、説明の便宜上、表示コンテンツの合成対象となる物体は、撮影画像に含まれる物体の位置やユーザ指定等から特定されるものとして説明する。また、物体は、図４に例示するように単数ではなく複数の場合があるかもしれないが、ここでは、数に関係なく便宜的に１つの「物体」として説明する。

【0059】

まず、ユーザは、ユーザ端末１０の所定のアプリを開き、そのアプリが利用するカメラ機能を利用して、焼いている肉を撮影する。ユーザ端末１０における撮影部１１が、ユーザ操作に応じて肉の撮影画像を生成すると、画像送信部１２は、その撮影画像を画像処理サーバ２０へ送信する。なお、ここでは、ユーザ端末１０のアプリを利用して撮影画像を画像処理サーバ２０へ送信するようにしたが、この撮影画像を送信する処理自体は、本実施の形態の特徴ではなく、既存の種々の技術を利用して、撮影画像を画像処理サーバ２０へ送信すればよい。

【0060】

ユーザ端末１０から撮影画像が送信されてくると、画像処理サーバ２０における画像取得部２１は、その撮影画像を取得する（ステップ１１０）。続いて、物体特定部２２は、画像取得部２１により取得された撮影画像を解析することで、撮影画像に含まれている物体を特定する（ステップ１２０）。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのニューラルネットワークを構築し、深層学習済みの分類器で分類する方法を利用してもよい。この処理結果として、物体（厳密には名称等の「物体を特定する情報」）及び特定した物体の確信度が出力される。ここでいう「確信度」というのは、処理結果として出力される物体がどのくらい確実であるかを示す統計的な尺度のことをいう。

【0061】

ところで、ニューラルネットワークが処理結果として出力する物体、換言すると物体特定部２２が特定しうる物体は、図２に示す意味情報に設定登録されている物体である。すなわち、物体特定部２２は、物体が意味情報に設定されていることによってはじめて、撮影画像に含まれている物体を特定することができる。換言すると、意味情報に設定登録されている物体が、物体特定部２２により物体として特定される。このため、意味情報にどのような物体を設定登録するかということは、重要な要素となる。前述したように、物体が「魚」の場合でも、鮪、平目など魚の種類で意味情報に登録したり、同一種の魚でも焼き魚、煮魚、刺身等の形態で意味情報に登録したり、あるいはこれらを組み合わせて登録する必要がある。

【0062】

物体特定部２２は、以上のようにして撮影画像に含まれている物体を特定するが、場合によっては、複数の物体の候補を出力する場合がある。複数の物体の候補のうち、最も確信度の高い物体の確信度が所定の閾値（以下、「第１閾値」という）以上の場合（ステップ１３０でＹ）、物体特定部２２は、撮影画像から物体を識別でき、一意に特定できたものとしてステップ１６０に移行する。一方、最も確信度の高い物体の確信度が第１閾値に満たない場合（ステップ１３０でＮ）、物体特定部２２は、撮影画像から物体を精度良く識別できていない可能性がある、換言すると物体の識別精度が低かったとして、次のように処理する。

【0063】

図６は、ユーザが撮影したことで生成される撮影画像の例を示す図である。この撮影画像は、ユーザが果物を撮影した場合を想定している。あるいは、ユーザが買い物をしている状況を他の者が撮影して生成された撮影画像を、ユーザ端末１０を介して画像処理サーバ２０が取得してもよい。物体特定部２２は、図６（ａ）に示す撮影画像を取得すると、撮影画像の中心に近いことから枠３１で囲った果物をユーザは物体の対象としていると推測する。そして、物体特定部２２は、上記の通り、物体を特定するが（ステップ１２０）、ここで最も確信度の高い物体の確信度が第１閾値に満たない場合（ステップ１３０でＮ）、物体特定部２２は、物体として認識した物体の名称と当該物体の確信度を含むリストを作成する。

【0064】

このリストには、物体の候補が確信度の高い順に含まれる。そして、ＵＩ制御部２４は、物体特定部２２からの指示に応じて、枠３１を付けた画像と枠３１内の物体の候補のリストと共にユーザ端末１０へ送信し、ユーザ端末１０に表示させることにとって、物体の候補をユーザに提示する（ステップ１４０）。

【0065】

図６（ｂ）には、ユーザ端末１０に表示される画面の一例が示されている。ユーザは、枠３１によってどの物体が処理の対象となっていることを認識でき、また、物体のリスト３２から、画像処理サーバ２０が物体を特定できていないことを知ることができる。ここで、ユーザは、リスト３２の中から選択する物体の名称に対応付けられているラジオボタン３３を選択する。ＵＩ制御部２４がユーザにより選択されたラジオボタン３３に対応する物体を受け付けると、物体特定部２２は、ＵＩ制御部２４が受け付けた情報により、枠３１が付けられた物体が何であるか、つまり撮影画像の中の物体のうち処理対象となる物体を特定することができる（ステップ１５０）。

【0066】

なお、図６（ｂ）では、物体の候補をユーザに３つ提示する例を示している。ただ、これは一例であり、所定数の複数の物体の候補がリスト３２に含まれていればよい。あるいは、前述した第１閾値より小さい値の閾値（「第２閾値」という）以上第１閾値未満の確信度となる物体を物体の候補の中から抽出してリスト３２に含めてユーザに提示するようにしてもよい。また、図６（ｂ）に例示するように、「他の結果も見る」というボタン３４をリストに含めるようにしてもよい。ユーザがボタン３４を選択すると、物体特定部２２は、当初、リスト３２に含めなかった物体の候補を更に含めてユーザに提示できるようにしてもよい。リスト３２に新たに含める物体の候補の数は、上記のように所定数でもよいし、第２閾値以上の確信度となる物体としてもよい。

【0067】

また、画像処理サーバ２０は、枠３１を撮影画像から推測した物体に割り付けて表示するが、枠３１を撮影画像内で移動可能にしたり、大きさを変えたりできるように表示してもよい。ユーザが枠３１を現在の状態（つまり、位置や大きさ）から変更する操作を行うと、物体特定部２２は、ユーザにより指定された枠３１の位置や大きさに応じて、撮影画像の中において処理対象とする物体を変更し、上記のようにして物体を特定する（ステップ１２０～１５０）。

【0068】

なお、以上のように処理させるためには、処理対象とする物体を特定するための領域であるという枠３１の意味するところをユーザに事前に知らせる必要があり、また枠３１をユーザが視認しやすい色で表示する必要がある。

【0069】

上記説明した、物体特定部２２が撮影画像の中にある物体を、物体特定部２２が自らの解析により特定する処理、あるいはユーザに問い合わせて特定する処理は、一例であり、これに限る必要はない。例えば、物体のリスト３２をユーザ端末１０に常に表示して、ユーザに選択させるようにしてもよい。あるいは、ユーザに「焼肉」等物体を特定しうる情報を直接入力させてもよいし、あるいは「現在、肉を焼いているところ」など撮影画像の内容を説明する情報を、物体を特定するための情報として入力させてもよい。このように、ユーザにより入力された情報を常に参照して、あるいは補助的に参照して物体を特定するようにしてもよい。

【0070】

物体特定部２２は、撮影画像の中にある物体を特定すると、続いて、撮影画像を解析することで、特定した物体が示す色を特定する（ステップ１６０）。具体的には、撮影画像を解析することで得た物体の画像の領域内において、意味情報に設定されている色に該当する部分（「範囲」と表現してもよい）を見つけ出す。該当する部分が存在する場合、その部分は、意味情報に設定されている色と特定する。ここで説明したように、「物体が示す色」というのは、物体全体が示している色ということに限定するのではなく、物体が部分的に示す色と解釈してもよい。図４に示す焼肉の撮影画像の例には、複数枚の肉が撮影されているが、複数枚の肉を１つの物体と捉えて、１枚の肉を物体の一部分と捉えてもよい。あるいは、１枚の肉を１つの物体と捉え、１枚の肉の色を部分毎に特定するようにしてもよい。なお、物体特定部２２が特定する物体が示す色は、物体を特定する場合と同様に、意味情報に設定されている必要がある。

【0071】

続いて、表示情報生成部２３は、意味情報を参照することにより、特定した物体が示す色に対応する表示コンテンツを取得する（ステップ１７０）。そして、表示情報生成部２３は、物体特定部２２を介して取得した撮影画像に、表示コンテンツを合成することでユーザに提示する表示画像を生成する（ステップ１８０）。

【0072】

ＵＩ制御部２４は、表示情報生成部２３からの指示に応じて、生成された表示画像をユーザ端末１０へ送信し、ユーザ端末１０に表示させる。このようにして生成された表示画像をユーザが見える状態で表現した画像が図４（ｂ）に示されている。

【0073】

色覚健常者であれば、食するに適していない状態である肉の焼けていない箇所、すなわち色覚健常者であれば赤色に見える部分と、食するに適している状態である肉の焼けた箇所、すなわち色覚健常者であれば赤色に見えない部分と、を見分けることは容易である。しかしながら、赤色を判別しにくいユーザは、肉の焼け具合を視覚にて判別しにくい。

【0074】

そこで、本実施の形態においては、色覚健常者であれば、カラー画像の中の焼肉の赤色に見える部分に関連付けて表示コンテンツを焼肉の赤色の意味する情報として表示するようにした。具体的には、図４（ｂ）に例示すように、赤色に見える部分の上に意味情報から抽出したシンボル“×”４１を表示し、かつシンボル“×”４１が示す意味を説明するテキスト情報４２を表示画像に紐付けて表示する。

【0075】

これにより、ユーザは、焼肉のシンボル“×”４１が表示されている箇所は、生焼けであることを知ることができる。単に「赤色」という情報の提示だけでは、その赤色がどのような意味を成しているのか自ら考え出さなくてはならない。そこで、本実施の形態においては、「赤」という色を特定する情報ではなく赤色が意味する情報をユーザに提示するようにした。

【0076】

図４（ｂ）では、物体が示す色の意味を示す情報を、物体の赤色の箇所に対応させてシンボル４１を“×”という図形にて表示するようにしたが、文字にて表示するようにしてもよい。この場合の表示例を図５（ｂ）に示す。なお、図４（ａ）と図５（ａ）は、同じ画像である。図５（ｂ）に示す表示例では、物体が示す色の意味を示す情報を、その色の箇所に文字をオーバーレイ表示することでユーザに提示することになる。文字を用いると、ユーザは、物体が示す色の意味を直観的に知ることが可能となる。ただ、短い文字、例えば一文字だけでは色が示す意味を伝えにくい場合や文字が重なって表示されることで文字が判読しにくくなるような場合には適していない。

【0077】

基本的には、図２に例示するように、各物体に対し、ユーザにとって不都合な状態に陥る場合を想定した色に関する情報を意味情報に設定し、ユーザに注意を喚起するような情報を提示することが好ましい。具体的には、図２に例示するように、物体が食物の場合、食するに適していない状態の部分が食物に含まれている場合、食物が示す色の意味を示す情報として当該部分が食するに適していないことを意味する情報を、意味情報に設定しておく。そして、画像処理サーバ２０は、意味情報を参照することによって、食物が示す色の意味を示す情報として該部分が食するに適していないことを意味する情報を、撮影画像の中の該部分に関連付けて表示する。

【0078】

もちろん、その反対に、食するに適している状態の部分が食物に含まれている場合、食物が示す色の意味を示す情報として当該部分が食するに適していることを意味する情報を意味情報に設定してもよい。この場合、画像処理サーバ２０は、意味情報を参照することによって、食物が示す色の意味を示す情報として該部分が食するに適していることを意味する情報を、撮影画像の中の該部分に関連付けて表示することになる。

【0079】

あるいは、上記双方の情報を意味情報に設定登録しておいて、双方の情報を表示させるようにしてもよい。あるいは、どちらの情報を表示させるかをユーザに選択させるようにしてもよい。例えば、画像処理サーバ２０は、撮影画像に切替ボタンを付加してユーザ端末１０に表示させ、ユーザに切替ボタンを操作させてどちらの情報を表示させるかを選択させるようにしてもよい。この場合、意味情報には、切替ボタンにより選択された表示モード、すなわち食するに適している状態か否かを判別するための情報を各色に対応付けて設定する必要がある。また、ここでは、食するに適しているか否かという２つの表示モードの場合を例にしているが、３以上の表示モードを設定する場合には、各表示モードに該当するときに表示対象とするか否かという情報を各色に対応付けて設定する必要がある。このように、画像処理サーバ２０は、撮影画像から特定した物体が示す色の意味に応じて、物体が示す色の意味を示す情報の表示を制御してもよい。

【0080】

但し、撮影画像と共にユーザ端末１０に表示される情報が過多になると、ユーザは、物体が示す色の意味を判別しにくくなる可能性があるので、表示対象とする情報をユーザに選択させるようにしてもよい。この場合の具体例を、図７を用いて説明する。

【0081】

図７は、物体としてりんごが撮影されている撮影画像の例を示す図である。図７（ａ）に示す撮影画像がユーザ端末１０に表示されている場合において、ユーザが所定の操作をすると、表示情報生成部２３は、意味情報を参照することで特定している物体（図７に示す例では「りんご」）に対して設定されている表示コンテンツを特定し、その表示コンテンツにより提示可能なりんごが示す色の意味を示す情報を含むリストを生成する。

【0082】

図７（ｂ）には、ユーザによる所定の操作に応じてユーザ端末１０に表示される画面の一例が示されている。ユーザは、表示可能なりんごが示す色の意味を示す情報のリスト３５を参照することで、提示可能なりんごが示す色の意味を認識できる。そして、ユーザは、リスト３５の中から撮影画像に補足的に表示させたい情報を選択する。ユーザは、１又は複数の情報を選択可能なので、表示させたいりんごが示す色の意味に対応するチェックボックス３６を選択して送信ボタン３７を選択する。

【0083】

ＵＩ制御部２４がユーザにより選択されたチェックボックス３６に対応するりんごが示す色の意味を受け付けると、表示情報生成部２３は、ＵＩ制御部２４が受け付けた意味に対応する色が撮影画像の中の物体に含まれているかどうかを調べるために画像解析を実施する。そして、ＵＩ制御部２４が受け付けた意味に対応する色が撮影画像の中の物体に含まれている場合、表示情報生成部２３は、意味情報を参照することにより、撮影画像の中の物体に含まれている色に対応する表示コンテンツを取得し、前述したように撮影画像に表示コンテンツを合成することでユーザに提示する表示画像を生成する。これにより、ユーザは、所望する色の意味を示す情報のみを表示対象とすることができる。

【0084】

図８は、図７（ｂ）において、密漏れがユーザにより選択された場合の表示画像の例を示す図である。また、物体がりんごの場合において、カビがユーザにより選択された場合の表示画像の例を図９に示す。

【0085】

前述したように、本実施の形態では、物体が示す色の意味を示す情報をシンボル４１にて表示する。ユーザは、シンボル４１と説明文（シンボル４１が文字の場合は、文字が表す意味）によって物体が示す色の意味を知ることができる。ただ、ユーザは、表示色によってはシンボル４１が判別しにくくなるかもしれない。そこで、シンボルの表示色を、ユーザが判別しやすい色で表示するのが好適である。

【0086】

ところで、特定非営利活動法人カラーユニバーサルデザイン機構（ＣＵＤＯ）によると、人間の色の見え方には、Ｃ型、Ｐ型、Ｄ型、型及びＡ型がある。例えば、図７（ｂ）に含めたＰ型は、緑色系と赤色系が似通った色相に見えるタイプである。従って、Ｐ型のユーザに対して、判別しにくい赤色と緑色を表示コンテンツの表示色として用いないのが好ましい。このように、表示情報生成部２３は、図３におけるステップ１８０において撮影画像に表示コンテンツを合成する際、Ｃ型、Ｐ型などユーザの特性、すなわちユーザの色の見え方に応じて表示コンテンツの表示色を決定するのが好ましい。そのために、画像処理サーバ２０は、図３に示すステップ１８０より前のいずれかの段階、例えば、ステップ１１０においてユーザ端末１０から撮影画像を取得する際に、ユーザの特性をユーザに指定させて、撮影画像と共に取得するように処理してもよい。そして、画像処理サーバ２０は、ユーザの特性、すなわちユーザの色の見え方に応じて、物体が示す色の意味を示す情報の表示を制御する。具体的には、表示情報生成部２３は、ユーザにより申告された色の見え方（Ｃ型等）に応じて表示コンテンツの表示色を、当該ユーザが判別しやすい色に決定する。

【0087】

ところで、撮影画像において、ユーザが判別しにくい色の物体が隣り合わせていると、その物体の境目がわかりにくい。そこで、物体が示す色の意味を示す情報ではないかもしれないが、物体の境目がわかりやすくなるように、ユーザの色の見え方に応じて、撮影画像の中の物体の表示色を制御してもよい。具体的には、隣接する一方の物体が示す色を、ユーザが判別しやすい色に変更する。あるいは、物体が示す色をコントラストの高い色（いわゆるハイコントラスト）にして、物体を判別しやすくしてもよい。

【0088】

本実施の形態では、前述したように物体が示す色の意味を示す情報、すなわち表示コンテンツを撮影画像に合成して表示する。合成する表示コンテンツは、例えば図７を用いて説明したように、表示する物体が示す色の意味をユーザに選択させるようにしてもよい。ここで、シンボル４１に着目して説明すると、シンボル４１の表示の仕方には、種々の変形例が考えられる。

【0089】

例えば、物体特定部２２は、撮影画像に含まれる物体が示す色のＲＧＢ値によって物体が示す色を特定するが、物体が示す色がＲＧＢ値の範囲におけるどのレベルであるかによってシンボル４１の表示の仕方、つまり、シンボル４１の表示形態を決定してもよい。

【0090】

例えば、図２に例示する意味情報によると、りんごが示す色が黒色と特定する場合でも、ＲＧＢ（０，０，０）からＲＧＢ（１１９，１１９，１１９）の範囲が設けられている。従って、いわゆるＲＧＢ（０，０，０）近傍でいわゆる真っ黒と言われる黒色から、ＲＧＢ（１１９，１１９，１１９）近傍でりんごであれば黒色とみなしてよい程度の黒色まであるので、その色の程度に応じて、シンボル４１の表示形態を設定する。例えば、物体が示す色相の程度、つまりＲＧＢ値に応じてシンボル４１の大きさ、あるいは彩度や明度を変えたり、物体に対応付けして表示するシンボル４１の数を増減させたりする。

【0091】

また、物体が示す色の意味を示す情報は、適度に統合してもよい。例えば、りんごの場合、腐っているとかカビが発生しているなどりんごの状態を詳細に示すのではなく、食べられない状態であるという情報に統合し、総称にて表示するようにしてもよい。これは、りんごが食べられない状態（腐っている、カビ等）の色に関する情報に対して同じ表示コンテンツを割り当てればよい。

【0092】

ところで、上記説明では、ユーザ端末１０による撮影画像は、静止画像である場合を想定して説明したが、動画像であってもよい。動画像の場合、物体の状態が変化するかもしれない。従って、物体特定部２２は、動画像の時系列的変化を解析することによってカラー画像の中の物体の状況を推測し、推測した物体の状況を、物体を特定するための情報として利用してもよい。例えば、肉であれば、焼くことによって色が変化するので、この状況から物体は「焼肉」と特定しやすくなる。なお、動画像の場合、シンボル４１の表示形態を、物体が示す色の変化に応じて変更してもよい。例えば、シンボル４１を徐々に明るくしたり、小さくしたりしてもよい。例えば、動画像の中の物体が「焼肉」の場合は、生焼けを示すシンボル４１を肉が焼けていくに連れ、小さくし、最後には消えるように表示を制御してもよい。

【0093】

また、上記説明では、画像処理サーバ２０が処理するカラー画像は、ユーザ端末１０により撮影された画像を前提にして説明したが、ユーザ端末１０による撮影画像に限定する必要はない。また、画像処理サーバ２０は、生成した表示画像をカラー画像の送信元に送信するようにしたが、カラー画像の取得先と表示画像の送信先を、必ずしも一致させる必要はない。例えば、ユーザ端末１０などの外部装置からカラー画像の取得先と表示画像の送信先を指定させるようにシステムを構成してもよい。

【0094】

上記実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス等）を含むものである。

【0095】

また上記実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施の形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【符号の説明】

【0096】

１０ ユーザ端末、１１ 撮影部、１２ 画像送信部、１３ ＵＩ（ユーザインタフェース）部、２０ 画像処理サーバ、２１ 画像取得部、２２ 物体特定部、２３ 表示情報生成部、２４ ＵＩ制御部、２５ 意味情報記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】