特許 7431569 表示装置および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-06

(45)【発行日】2024-02-15

(54)【発明の名称】表示装置および制御方法

(51)【国際特許分類】

   H04N 21/488 20110101AFI20240207BHJP

   G06T 7/00 20170101ALI20240207BHJP

   H04N 21/431 20110101ALI20240207BHJP

【ＦＩ】

H04N21/488

G06T7/00 300F

H04N21/431

【請求項の数】 5

(21)【出願番号】P 2019226930

(22)【出願日】2019-12-17

(65)【公開番号】P2021097311

(43)【公開日】2021-06-24

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(72)【発明者】

【氏名】輿水 修

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特開２０１９－１９３０２３（ＪＰ，Ａ）

【文献】特開２０１９－２１３０３８（ＪＰ，Ａ）

【文献】特開２０１９－１５３９０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｆ ３／０４８４ー３／０４８９５

Ｇ０６Ｔ ７／００

Ｇ０６Ｑ ５０／００

(57)【特許請求の範囲】

【請求項1】

画像を受信する受信部と、
前記画像を表示する表示部と、
前記画像に映る対象を認識する認識部と、
報知する対象の名称を示す文字情報を含む報知対象定義情報を記憶する記憶部と、
前記認識部が認識した対象の認識結果が前記報知対象定義情報に含まれている場合に、前記対象の名称を示す文字情報を報知すると判定する判定部と、
前記報知すると判定された前記対象の名称を示す文字情報を報知する報知部と、
を備える表示装置。

【請求項2】

前記受信部は、前記画像の内容を示す内容情報をさらに受信し、
前記判定部は、前記報知対象定義情報および前記内容情報に基づいて、前記対象の名称を示す文字情報を報知するか否か判定する請求項１に記載の表示装置。

【請求項3】

前記報知部は、前記報知すると判定された前記対象の名称を示す文字情報を前記表示部に表示する請求項１または２に記載の表示装置。

【請求項4】

音出力部をさらに備え、
前記報知部は、前記報知すると判定された前記対象の名称を示す文字情報を音声で前記音出力部から出力する請求項１または２に記載の表示装置。

【請求項5】

表示装置の制御方法であって、
画像を受信し、
前記画像を表示し、
前記画像に映る対象を認識し、
報知する対象の名称を示す文字情報を含む報知対象定義情報を記憶し、
前記認識した対象の認識結果が前記報知対象定義情報に含まれている場合に、前記対象の名称を示す文字情報を報知すると判定し、
前記報知すると判定された前記対象の名称を示す文字情報を報知する、
処理を備える制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置および制御方法に関する。

【背景技術】

【0002】

複数の対象を含む画像における各々の対象が何であるかを高精度で認識し、且つ各対象の存在する場所をも認識する画像認識装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－１１４５９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一つの画像から複数の対象が認識される場合、ユーザにとって有用な認識結果と不要な認識結果とが混在している場合があり、画像認識装置が認識結果を全て報知すると、ユーザはユーザにとって不要な認識結果も受け取ってしまう。それにより、ユーザは、認識結果に応じた適切な処理が困難になる場合がある。

【0005】

本発明の一態様は、ユーザにとって不要な認識結果を報知せず、有用な認識結果を報知することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る表示装置は、画像を受信する受信部と、前記画像を表示する表示部と、前記画像に映っている対象を認識する認識部と、報知する対象を示す報知対象定義情報に基づいて、前記対象の認識結果を報知するか否か判定する判定部と、前記報知すると判定された前記対象の認識結果を報知する報知部と、を有する。

【0007】

本発明の一態様に係る制御方法は、表示装置の制御方法であって、画像を受信し、前記画像を表示し、前記画像に映っている対象を認識し、報知する対象を示す報知対象定義情報に基づいて、前記対象の認識結果を報知するか否か判定し、前記報知すると判定された前記対象の認識結果を報知する、処理を有する。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る表示装置の構成図の一例である。

【図2】ＥＰＧデータの例である。

【図3】コンテンツ情報の例である。

【図4】実施の形態に係る表示装置の第１の制御方法のフローチャートの一例である。

【図5】報知対象定義情報の一例である。

【図6】所属情報の例である。

【図7】報知対象のカテゴリの選択画面の一例である。

【図8】実施の形態に係る表示装置の第２の制御方法のフローチャートの一例である。

【図9】報知対象定義情報の一例である。

【発明を実施するための形態】

【0009】

以下、実施の形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0010】

図１は、実施の形態に係る表示装置の構成図の一例である。

【0011】

表示装置１０１は、受信部１１１、表示部１２１、認識部１３１、記憶部１４１、判定部１５１、報知部１６１、および音出力部１７１を有する。表示装置１０１は、例えば、テレビ受像機、パーソナルコンピュータ、またはスマートフォン等である。

【0012】

受信部１１１は、画像を受信し、受信した画像を認識部１３１および報知部１６１に出力する。また、受信部１１１は、受信した画像を表示部１２１にさらに出力してもよい。受信部１１１は、例えば、画像として、アナログテレビ放送またはデジタルテレビ放送の番組の映像データを受信する。また、受信部１１１は、例えば、画像として、インターネット等のネットワークから番組の映像データを受信してもよい。また、受信部１１１は、例えば、画像として、表示装置１０１に接続されたビデオカメラまたは録画装置等の外部機器から映像データを受信してもよい。また、映像データには、音声、音楽、または効果音等の音が含まれていてもよい。

【0013】

また、受信部１１１は、画像の内容を示す内容情報をさらに受信し、内容情報を判定部１５１に出力してもよい。内容情報は、例えば、受信した画像であるデジタルテレビ放送の番組の映像データの内容を示す情報であり、具体的には、例えば、Electronic Program Guide（ＥＰＧ）データである。ＥＰＧデータは、デジタルテレビ放送に含まれており、受信部１１１は、映像データとともにＥＰＧデータを受信する。

【0014】

図２は、ＥＰＧデータの例である。

【0015】

ＥＰＧデータは、図２に示すように、放送局名、番組タイトル、番組サブタイトル、ジャンル、番組出演者、および開始／終了の日時を含む。放送局名は、番組を放送する放送局の名称である。番組タイトルは、番組の名称である。番組サブタイトルは、番組のサブタイトルの名称である。ジャンルは、番組のジャンルである。番組出演者は番組の出演者の名前である。開始／終了の日時は、番組の開始日時と終了日時である。

【0016】

また、内容情報は、例えば、インターネット等のネットワークから受信した番組の映像データの内容を示す情報であってもよく、具体的には、例えば、コンテンツ情報でもよい。コンテンツ情報は、例えば、ネットワークから受信した映像データに付加または含まれている。また、受信部１１１は、番組の映像データを配信している配信業者からコンテンツ情報を受信してもよい。

【0017】

図３は、コンテンツ情報の例である。

【0018】

コンテンツ情報は、図３に示すように、管理番号、ジャンル、作品名、および出演者を含む。管理番号は、配信業者により付与された管理のための番号である。ジャンルは、番組のジャンルである。作品名は、番組の名称である。出演者は、番組の出演者の名前である。

【0019】

尚、上述のＥＰＧデータおよびコンテンツ情報は一例であり、ＥＰＧデータおよびコンテンツ情報はさらに番組に関する情報を含んでいてもよい。

【0020】

表示部１２１は、受信部１１１により受信された画像を表示する。表示部１２１は、例えば、液晶パネルまたは有機エレクトロルミネッセンス（ＥＬ）パネル等である。また、表示部１２１は、後述の認識部１３１による認識結果を受信部１１１により受信された画像に重ねて表示してもよい。尚、表示部１２１は、報知部１６１を介して画像を受信または受信部１１１から画像を受信する。

【0021】

認識部１３１は、例えば、ディープラーニングやサポートベクターマシン等の機械学習を用いた画像認識方法により予め大量の画像を用いて学習する。そして、学習後、認識部１３１は、受信部１１１により受信された画像に映っている対象を認識し、認識した対象を示す認識結果を判定部１５１に出力する。

【0022】

具体的には、例えば、認識部１３１は、記憶部１４１に記憶されている認識データベースを用いて、受信部１１１により受信された画像に映っている対象を推定し、推定した結果を認識結果として判定部１５１に出力する。認識データベースには、認識結果となりうる対象の名称のリストが記憶され、例えば、特徴ベクトルと名称とが対応付けられて記憶されている。例えば、認識部１３１は、受信部１１１により受信された画像から特徴ベクトルを算出し、算出した特徴ベクトルに一番類似する認識データベースの特徴ベクトルに対応する名称を画像に映っている対象として推定し、当該名称を認識結果として判定部１５１に出力する。

【0023】

認識結果は、例えば、認識した対象の名称を示す文字情報（テキストデータ）である。対象の名称は、例えば、人物の名前、動物の種類、植物の種類、乗り物の種類、スポーツの種類、役名、シーン、または物体の名称等である。尚、画像に複数の対象が映っている場合、認識部１３１は複数の対象を認識し、複数の認識結果を判定部１５１に出力する。

【0024】

また、認識部１３１は、画像に映っている対象の認識処理において、画像の内容に応じて、認識結果となりうる対象の名称のリストがそれぞれ異なる認識データベースを用いてもよい。例えば、認識部１３１は、画像の内容を示す内容情報のジャンルが図２に示すような「スポーツ／サッカー」である場合、認識結果となりうるサッカー選手の名前を含む認識データベースを用いる。例えば、認識部１３１は、内容情報のジャンルが「映画」または「ドラマ」である場合、認識結果となりうる役者の名前を含む認識データベースを用いる。これにより、画像認識の高速化、認識精度の向上、および認識部の処理性能の適正化によるコスト削減などの効果を奏する。

【0025】

記憶部１４１は、表示装置１０１で利用される制御プログラムやデータ等を記憶する。具体的には、記憶部１４１は、例えば、報知する認識対象を示す報知対象定義情報を記憶する。尚、報知対象定義情報は、例えば、ユーザが作成してもよいし、表示装置１０１がネットワークを介して外部から取得してもよいし、または表示装置１０１の製造者が表示装置１０１の製造時に作成してもよい。報知対象定義情報の詳細は後述する。また、記憶部１４１は、認識部１３１が画像に映っている対象を推定するのに用いる認識データベースを記憶する。また、記憶部１４１は、後述の音声制御部１６３が認識結果の読み上げに使用する音声データをさらに記憶してもよい。記憶部１４１は、例えば、Random Access Memory（ＲＡＭ）、ハードディスクドライブ、またはフラッシュメモリ等の記憶装置である。

【0026】

判定部１５１は、記憶部１４１から報知対象定義情報を読み出し、報知対象定義情報に基づいて、認識部１３１により認識された対象の認識結果を報知するか否か判定する。具体的には、例えば、対象の認識結果が報知対象定義情報に含まれている場合に対象の認識結果を報知すると判定する。そして、判定部１５１は、報知すると判定した場合、認識結果を報知部１６１に出力する。また、判定部１５１は、報知しないと判定した場合、認識結果を報知部１６１に出力しない。また、判定部１５１は、受信部１１１から内容情報を受信し、記憶部１４１から報知対象定義情報を読み出し、内容情報および報知対象定義情報に基づいて、認識部１３１により認識された対象の認識結果を報知するか否か判定してもよい。尚、認識部１３１が複数の認識結果を判定部１５１に出力した場合、判定部１５１は、複数の認識結果それぞれに対して報知するか否か判定する。

【0027】

報知部１６１は、認識結果表示部１６２および音声制御部１６３を有する。報知部１６１は、判定部１５１から受信した対象の認識結果を報知する。

【0028】

認識結果表示部１６２は、受信部１１１により受信された画像を受信部１１１から受信し、報知部１６１から対象の認識結果を受信する。そして認識結果表示部１６２は、認識結果を受信した画像に重ねて表示部１２１に表示する。認識結果表示部１６２は、認識結果を受信していない場合は、受信した画像を表示部１２１に表示する。

【0029】

音声制御部１６３は、受信部１１１により受信された画像を受信部１１１から受信し、報知部１６１から対象の認識結果を受信する。そして、音声制御部１６３は、受信した画像に音が含まれている場合は、当該音を音出力部１７１から出力する。さらに音声制御部１６３は、対象の認識結果を音声で音出力部１７１から出力する。すなわち音声制御部１６３は、対象の認識結果を読み上げる。

【0030】

音出力部１７１は、受信した画像に含まれる音を出力する。さらに音出力部１７１は、認識結果を音声で出力する。音出力部１７１は、例えば、スピーカーである。

【0031】

尚、認識結果表示部１６２による認識結果の表示と音声制御部１６３による認識結果の音声による出力は、いずれか一方だけでもよく、両方行われてもよい。

【0032】

図４は、実施の形態に係る表示装置の第１の制御方法のフローチャートの一例である。ここで、認識部１３１は、例えば、画像内の対象を認識可能なように予め機械学習により学習済みである。

【0033】

ステップＳ４０１において、受信部１１１は、画像および画像の内容を示す内容情報を受信する。具体的には、例えば、受信部１１１は、画像としてデジタル放送の映像データを受信し、内容情報として図２に示すようなＥＰＧデータを受信する。

【0034】

ステップＳ４０２において、認識部１３１は、ステップＳ４０１で受信された画像に映っている対象を認識し、認識した対象を示す認識結果を判定部１５１に出力する。具体的には、例えば、認識部１３１は、受信部１１１が受信したサッカー中継の画像に映っている選手である「堺太郎」を認識し、認識結果として「堺太郎」を判定部１５１に出力する。

【0035】

ステップＳ４０３において、判定部１５１は、記憶部１４１から報知する認識対象を示す報知対象定義情報を取得し、受信部１１１からステップＳ４０１で受信された内容情報を取得する。ここで、報知対象定義情報について説明する。

【0036】

図５は、報知対象定義情報の一例である。

【0037】

報知対象定義情報は、例えば、図５に示すようにジャンルと認識結果とを含む。ジャンルは、画像のジャンルである。認識結果は、報知すると判定される対象の名称である。報知対象定義情報の認識結果は、ユーザにとって有用な情報であり、ジャンルごとに異なる認識結果が対応付けられている。例えば、図５に示すようにジャンル「スポーツ／サッカー」に対応付けられて、サッカー選手の名前である「堺太郎」、「豊洲次郎」、および「幕張三郎」等が報知対象定義情報に含まれている。また、図５に示すようにジャンル「映画」に対応付けられて、役者の名前である「シャープ花子」等が報知対象定義情報に含まれている。また、例えば、ジャンル「バラエティ」に対応付けられて、認識結果として芸能人の名前が報知対象定義情報に含まれていてもよい。また、例えば、ジャンル「動物」に対応付けられて、認識結果として犬、猫、馬等の動物の種類が報知対象定義情報に含まれていてもよい。このように、ジャンルごとに異なる認識結果が対応付けられていることで、後述のように画像のジャンルに応じたユーザに有用な認識結果を報知することができ、不要な認識結果を報知しないようにすることができる。

【0038】

図４に戻り説明を続ける。

【0039】

ステップＳ４０４において、判定部１５１は、ステップＳ４０３で取得した内容情報と報知対象定義情報に基づいて、ステップＳ４０２で認識された認識結果を報知するか否か判定する。判定部１５１が報知すると判定した場合、判定部１５１は認識結果を報知部１６１に出力し、制御はステップＳ４０５に進む。判定部１５１が報知しないと判定した場合、第１の制御方法は終了する。具体的には、例えば、判定部１５１は、認識部１３１による認識結果が報知対象定義情報に含まれている場合、すなわち報知対象定義情報が認識部１３１から受信した認識結果と同じ情報を有している場合、認識結果を報知すると判定する。詳細には、例えば、判定部１５１は、認識部１３１による認識結果が、内容情報に含まれるジャンルと同じ報知対象定義情報のジャンルに対応する認識対象に含まれている場合、認識結果を報知すると判定する。

【0040】

具体例を説明すると、例えば、ステップＳ４０３で図２に示す内容情報と図５に示す報知対象定義情報が取得され、認識部１３１は、ステップＳ４０１で受信された画像内の対象を「堺太郎」と認識し、認識結果が「堺太郎」であるとする。図２に示す内容情報のジャンルは「スポーツ／サッカー」であるので、判定部１５１は、図５示す報知対象定義情報のジャンル「スポーツ／サッカー」に対応する認識結果を検索し、「堺太郎」が存在するか判定する。図５に示すように、報知対象定義情報のジャンル「スポーツ／サッカー」に対応する認識結果に「堺太郎」が存在するので、認識部１３１による認識結果が報知対象定義情報に含まれており、判定部１５１は、認識結果を報知すると判定し、認識結果「堺太郎」を報知部１６１に出力する。また、例えば、認識部１３１は、ステップＳ４０１で受信された画像内の対象を「ボール」と認識し、認識結果が「ボール」であるとする。図２に示す内容情報のジャンルは「スポーツ／サッカー」であるので、判定部１５１は、図５示す報知対象定義情報のジャンル「スポーツ／サッカー」に対応する認識結果を検索し、「ボール」が存在するか判定する。図５に示すように、報知対象定義情報のジャンル「スポーツ／サッカー」に対応する認識結果に「ボール」が存在しないので、認識部１３１による認識結果が報知対象定義情報に含まれておらず、判定部１５１は、認識結果を報知しないと判定し、認識結果「ボール」を報知部１６１に出力しない。

【0041】

ステップＳ４０５において、報知部１６１は、ステップＳ４０４で報知すると判定された認識結果を報知する。具体的には、例えば、認識結果表示部１６２は、ステップＳ４０４で報知すると判定された認識結果をステップＳ４０１で受信された画像に重ねて表示部１２１に表示する。また、具体的には、例えば、音声制御部１６３は、ステップＳ４０４で報知すると判定された認識結果を音声で音出力部１７１から出力する。認識結果を音声で出力することで、視覚障碍者でも有用な情報のみに絞って、音声情報として認識可能になる。

【0042】

尚、認識結果表示部１６２による認識結果の表示と音声制御部１６３による認識結果の音声による出力は、いずれか一方だけでもよく、両方行われてもよい。

【0043】

また、ステップ４０５において、認識結果表示部１６２は、画像の内容がサッカーまたは野球等の団体スポーツであり、認識結果が選手名である場合、選手が所属するチームごとに選手名の表示色を異なるようにしてもよい。尚、例えば、団体スポーツのリストは記憶部１４１に記憶され、認識結果表示部１６２は、内容情報および記憶部１４１に記憶された団体スポーツのリストに基づいて、画像の内容が団体スポーツであるか判定してもよい。認識結果表示部１６２は、例えば、記憶部１４１に記憶された図６に示すような選手の所属チームを示す所属情報に基づいて、表示部１２１の表示において選手が所属するチームごとに認識結果である選手名の表示色を異なるようにしてもよい。具体的には、例えば、内容情報のジャンルが図２に示すような「スポーツ／サッカー」であるので、認識結果表示部１６２は、図６に示すようなチーム名と選手名である認識結果とが対応付けられた所属情報を参照し、選手が所属するチームを判定する。認識結果表示部１６２は、例えば、認識結果が「堺太郎」である場合、図６に示す所属情報を参照して、「堺太郎」がチーム「ＡＢＣ」に所属していると判定し、認識結果「堺太郎」を第１の色（例えば、赤色）で表示部１２１に表示する。また、認識結果表示部１６２は、例えば、認識結果が「幕張三郎」である場合、図６に示す所属情報を参照して、「幕張三郎」がチーム「ＸＹＺ」に所属していると判定し、認識結果「幕張三郎」を第２の色（例えば、青色）で表示部１２１に表示する。

【0044】

実施の形態に係る表示装置の第１の制御方法によれば、ユーザにとって不要な認識結果を報知せず、有用な認識結果を報知することができる。それにより、ユーザは、認識結果に応じた適切な処理を行い易くなる。

【0045】

次に、ユーザにより選択された報知する認識対象のカテゴリを示す報知カテゴリ情報を用いることにより、ユーザの嗜好に合わせて認識結果の報知を制御する第２の制御方法について説明する。

【0046】

最初に、ユーザにより選択された報知する認識対象のカテゴリを示す報知カテゴリ情報について説明する。

【0047】

ユーザは、予め自身の嗜好に合わせて、報知してほしい対象のカテゴリを表示装置１０１に設定する。

【0048】

図７は、報知対象のカテゴリの選択画面の一例である。

【0049】

表示装置１０１は、例えば、表示部１２１に図７に示すような認識対象のカテゴリの選択画面を表示する。ユーザは、リモコン等の入力装置を用いて、自身の嗜好に合わせて、報知する認識対象のカテゴリを設定する。具体的には、例えば、図７に示す選択画面では、選択可能な認識対象のカテゴリとして、「スポーツ」、「動物」、「乗り物」、「俳優名」、「役名」、および「シーン（野外）」が表示されている。ユーザは、図７に示す選択画面において、「スポーツ」と「乗り物」を選択すると、「スポーツ」と「乗り物」のチェックボックスにそれぞれチェックマークが表示される。表示装置１０１は、選択された認識対象のカテゴリを報知カテゴリ情報として記憶部１４１に記憶する。具体的には、例えば、図７に示すように「スポーツ」と「乗り物」が選択されると、「スポーツ」と「乗り物」とが報知カテゴリ情報として記憶部１４１に記憶される。

【0050】

図８は、実施の形態に係る表示装置の第２の制御方法のフローチャートの一例である。ここで、認識部１３１は、例えば、画像内の対象を認識可能なように予め機械学習により学習済みである。また、上述のようにユーザにより選択された報知する認識対象のカテゴリを示す報知カテゴリ情報は、記憶部１４１に記憶されている。

【0051】

ステップＳ８０１において、受信部１１１は、画像を受信する。具体的には、例えば、受信部１１１は、画像としてデジタル放送の映像データを受信する。

【0052】

ステップＳ８０２において、認識部１３１は、ステップＳ８０１で受信された画像に映っている対象を認識し、認識した対象を示す認識結果を判定部１５１に出力する。具体的には、例えば、認識部１３１は、画像から「野球」を認識し、認識結果として「野球」を判定部１５１に出力する。

【0053】

ステップＳ８０３において、判定部１５１は、報知する認識対象のカテゴリを示す報知カテゴリ情報および報知する認識対象を示す報知対象定義情報を記憶部１４１から取得する。具体的には、例えば、「スポーツ」と「乗り物」を含む報知カテゴリ情報、および図９に示すような報知対象定義情報を取得する。ここで、第２の制御方法で用いられる報知対象定義情報について説明する。

【0054】

図９は、報知対象定義情報の一例である。

【0055】

報知対象定義情報は、例えば、図９に示すようにカテゴリと認識結果とを含む。カテゴリは、認識対象のカテゴリである。尚、報知対象定義情報には、カテゴリとして、上述の表示装置１０１でユーザが選択可能な認識対象のカテゴリと同じカテゴリが含まれている。認識結果は、報知すると判定される対象の名称である。報知対象定義情報の認識結果は、ユーザにとって有用な情報であり、カテゴリごとに異なる認識結果が対応付けられている。例えば、図９に示すようにカテゴリ「スポーツ」に対応付けられて、スポーツの種類である「野球」、「サッカー」、「テニス」、および「ゴルフ」等が報知対象定義情報に含まれている。また、図９に示すように報知対象定義情報には、カテゴリ「動物」に「犬」、「猫」等の動物の種類が対応付けられ、カテゴリ「乗り物」に「車」、「飛行機」等の乗り物の種類が対応付けられている。また、図９には図示されていないが、報知対象定義情報には、カテゴリ「俳優名」、「役名」、および「シーン（野外）」がさらに含まれ、カテゴリ「俳優名」、「役名」、および「シーン（野外）」のそれぞれに対して異なる認識対象が対応付けられている。このように、報知対象定義情報には、カテゴリとして、上述の表示装置１０１でユーザが選択可能な認識対象のカテゴリと同じカテゴリが含まれている。このように、ユーザが選択可能な認識対象のカテゴリごとに異なる認識結果が対応付けられていることで、後述のようにユーザの嗜好に応じたユーザに有用な認識結果を報知することができ、不要な認識結果を報知しないようにすることができる。

【0056】

図８に戻り説明を続ける。

【0057】

ステップＳ８０４において、判定部１５１は、ステップＳ８０３で取得した報知カテゴリ情報と報知対象定義情報に基づいて、ステップＳ８０２で認識された認識結果を報知するか否か判定する。判定部１５１が報知すると判定した場合、判定部１５１は認識結果を報知部１６１に出力し、制御はステップＳ８０５に進む。判定部１５１が報知しないと判定した場合、第２の制御方法は終了する。

【0058】

判定部１５１は、例えば、認識部１３１による認識結果が報知対象定義情報に含まれている場合、すなわち報知対象定義情報が認識部１３１から受信した認識結果と同じ情報を有している場合、認識結果を報知すると判定する。詳細には、例えば、判定部１５１は、認識部１３１による認識結果が、報知カテゴリ情報に含まれるカテゴリと同じ報知対象定義情報のカテゴリに対応する認識対象に含まれている場合、認識結果を報知すると判定する。

【0059】

具体例を説明すると、例えば、ステップＳ８０３で「スポーツ」と「乗り物」を含む報知カテゴリ情報、および図９に示すような報知対象定義情報が取得され、認識部１３１は、ステップＳ８０１で受信された画像内の対象を「野球」と認識し、認識結果が「野球」であるとする。報知カテゴリ情報には「スポーツ」と「乗り物」が含まれているので、判定部１５１は、図９示す報知対象定義情報のカテゴリ「スポーツ」および「乗り物」にそれぞれ対応する認識結果を検索し、「野球」が存在するか判定する。図９に示すように、報知対象定義情報のカテゴリ「スポーツ」に対応する認識結果に「野球」が存在するので、認識部１３１による認識結果が報知対象定義情報に含まれており、判定部１５１は、認識結果を報知すると判定し、認識結果「野球」を報知部１６１に出力する。また、例えば、認識部１３１は、ステップＳ８０１で受信された画像内の対象を「犬」と認識し、認識結果が「犬」であるとする。報知カテゴリ情報には「スポーツ」と「乗り物」が含まれているので、判定部１５１は、図９示す報知対象定義情報のカテゴリ「スポーツ」および「乗り物」にそれぞれ対応する認識結果を検索し、「犬」が存在するか判定する。図９に示すように、報知対象定義情報のカテゴリ「スポーツ」および「乗り物」にそれぞれ対応する認識結果に「犬」が存在しないので、判定部１５１は、認識結果を報知しないと判定し、認識結果「犬」を報知部１６１に出力しない。報知カテゴリ情報に「動物」が含まれていないので、ユーザは、報知する認識対象のカテゴリとして「動物」を選択していない。すなわち、ユーザにとって動物の種類のような「動物」に関する情報は不要な情報である。そのため、図９に示すように、報知対象定義情報のカテゴリ「動物」に対応する認識結果に「犬」が存在するが、報知カテゴリ情報に「動物」が含まれていないので、認識部１３１による認識結果が「犬」であったとしても、表示装置１０１は、認識結果「犬」を報知しない。

【0060】

ステップＳ８０５において、報知部１６１は、ステップＳ８０４で報知すると判定された認識結果を報知する。ステップＳ８０５の処理は、ステップＳ４０５の処理と同様であるため詳細な説明は省略する。

【0061】

実施の形態に係る表示装置の第２の制御方法によれば、ユーザにより選択された報知する認識対象のカテゴリを示す報知カテゴリ情報を用いることで、ユーザにとって不要な認識結果を報知せず、有用な認識結果を報知することができる。それにより、ユーザは、認識結果に応じた適切な処理を行い易くなる。実施の形態に係る表示装置の第２の制御方法によれば、ユーザにより選択された報知する認識対象のカテゴリを示す報知カテゴリ情報を用いることで、より細かい条件で報知する認識対象を選択可能になる。

【0062】

（ソフトウェアによる実現例）
表示装置１０１の制御ブロック（特に、受信部１１１、認識部１３１、判定部１５１、および報知部１６１）は、集積回路（ＩＣ（Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）によって実現可能であり、またＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、表示装置１０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体を介して上記コンピュータに供給されてよい。

【0063】

なお、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。

【符号の説明】

【0064】

１０１ 表示装置
１１１ 受信部
１２１ 表示部
１３１ 認識部
１４１ 記憶部
１５１ 判定部
１６１ 報知部
１６２ 認識結果表示部
１６３ 音声制御部
１７１ 音出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】