IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソノー電機工業株式会社の特許一覧

<>
  • 特許-情報処理プログラム及び情報処理端末 図1
  • 特許-情報処理プログラム及び情報処理端末 図2
  • 特許-情報処理プログラム及び情報処理端末 図3
  • 特許-情報処理プログラム及び情報処理端末 図4
  • 特許-情報処理プログラム及び情報処理端末 図5
  • 特許-情報処理プログラム及び情報処理端末 図6
  • 特許-情報処理プログラム及び情報処理端末 図7
  • 特許-情報処理プログラム及び情報処理端末 図8
  • 特許-情報処理プログラム及び情報処理端末 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-10-26
(45)【発行日】2023-11-06
(54)【発明の名称】情報処理プログラム及び情報処理端末
(51)【国際特許分類】
   G06F 3/04817 20220101AFI20231027BHJP
   H04N 23/63 20230101ALI20231027BHJP
   H04N 23/60 20230101ALI20231027BHJP
【FI】
G06F3/04817
H04N23/63 300
H04N23/60 500
【請求項の数】 7
(21)【出願番号】P 2022163813
(22)【出願日】2022-10-12
【審査請求日】2022-10-13
【早期審査対象出願】
(73)【特許権者】
【識別番号】513197574
【氏名又は名称】ソノー電機工業株式会社
(74)【代理人】
【識別番号】110000992
【氏名又は名称】弁理士法人ネクスト
(72)【発明者】
【氏名】請園 邦雄
【審査官】木内 康裕
(56)【参考文献】
【文献】特開平04-111140(JP,A)
【文献】特開2020-071672(JP,A)
【文献】特開平11-003353(JP,A)
【文献】特開2013-238987(JP,A)
【文献】特開2015-106862(JP,A)
【文献】特開2002-215466(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041
G06F 3/048 - 3/04895
H04N 23/63
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
カメラと、タッチパネルとを備えた情報処理端末に、
物理媒体に対するユーザの撮影指示に応じて前記カメラにより前記物理媒体を撮影し、第1画像データを取得する第1取得処理と、
前記第1取得処理により取得された前記第1画像データに含まれる第1コードを検出してデコードするデコード処理と、
前記デコード処理によりデコードされた前記第1コードが示す、前記情報処理端末の外部の記憶場所から、前記第1画像データと同じ被写体である、前記物理媒体を事前に撮影して得られた第2画像データと、前記第2画像データ上の指定された位置に埋め込まれた情報と、を含む埋込画像データを受信する受信処理と、
前記受信処理により受信された埋込画像データに含まれた前記情報の埋込位置を検出する埋込位置検出処理と、
前記受信された埋込画像データに含まれた前記第2画像データを前記タッチパネル上に表示する第1表示処理と、
前記第1表示処理により前記タッチパネル上に表示された前記第2画像データに重ねて、前記埋込位置検出処理により検出された前記情報の埋込位置を視認可能な態様で表示する第2表示処理と、
を実行させる情報処理プログラムであって、
前記第2画像データは、矩形状の画像データであり、
前記情報の埋込位置は、前記第2画像データの外周を構成する4辺のうちの所定の1辺を底辺とする三角形の2つの底角を指定することで一意的に規定された前記三角形の頂点により指定される、
情報処理プログラム。
【請求項2】
前記第1画像データは、前記第1コードと異なる第2コードを含み、
前記情報処理端末にさらに、
前記第1画像データに含まれた前記第2コードの前記第1画像データ上の位置を検出するコード位置検出処理
を実行させ、
前記第2表示処理では、前記コード位置検出処理により検出された前記第2コードの前記第2画像データ上の位置も前記視認可能な態様で表示する、
請求項1に記載の情報処理プログラム。
【請求項3】
前記情報処理端末にさらに、
前記タッチパネル上に表示された前記第2画像データに対してユーザが操作指示した位置を検出する操作位置検出処理と、
前記操作位置検出処理により検出された操作位置に前記情報が埋め込まれているか否かを判断する判断処理と、
前記判断処理により前記情報が埋め込まれていると判断された場合、前記情報をサーバコンピュータに出力する情報出力処理と、
を実行させる、
請求項1に記載の情報処理プログラム。
【請求項4】
前記情報処理端末にさらに、
前記サーバコンピュータが前記情報の種類に応じて送出したデータを、前記受信処理において前記サーバコンピュータから受信し、前記受信したデータに応じた制御処理
を実行させる、
請求項3に記載の情報処理プログラム。
【請求項5】
カメラと、
タッチパネルと、
通信インタフェースと、
コントローラと、
を備えた情報処理端末であって、
前記コントローラは、
物理媒体に対するユーザの撮影指示に応じて前記カメラにより前記物理媒体を撮影し、第1画像データを取得する第1取得処理と、
前記第1取得処理により取得された前記第1画像データに含まれる第1コードを検出してデコードするデコード処理と、
前記デコード処理によりデコードされた前記第1コードが示す、前記情報処理端末の外部の記憶場所から、前記第1画像データと同じ被写体である、前記物理媒体を事前に撮影して得られた第2画像データと、前記第2画像データ上の指定された位置に埋め込まれた情報と、を含む埋込画像データを、前記通信インタフェースを介して受信する受信処理と、
前記受信処理により受信された埋込画像データに含まれた前記情報の埋込位置を検出する埋込位置検出処理と、
前記受信された埋込画像データに含まれた前記第2画像データを前記タッチパネル上に表示する第1表示処理と、
前記第1表示処理により前記タッチパネル上に表示された前記第2画像データに重ねて、前記埋込位置検出処理により検出された前記情報の埋込位置を視認可能な態様で表示する第2表示処理と、
を実行し、
前記第2画像データは、矩形状の画像データであり、
前記情報の埋込位置は、前記第2画像データの外周を構成する4辺のうちの所定の1辺を底辺とする三角形の2つの底角を指定することで一意的に規定された前記三角形の頂点により指定される、
情報処理端末。
【請求項6】
カメラと、タッチパネルとを備えた情報処理端末に、
物理媒体に対するユーザの撮影指示に応じて前記カメラにより前記物理媒体を撮影し、第1画像データを取得する第1取得処理と、
前記第1取得処理により取得された前記第1画像データに含まれる第1コードを検出してデコードするデコード処理と、
前記デコード処理によりデコードされた前記第1コードが示す、前記情報処理端末の外部の記憶場所から、前記第1画像データと同じ被写体である、前記物理媒体を事前に撮影して得られた第2画像データと、前記第2画像データ上のXY座標により指定された位置に埋め込まれた情報と、を含む埋込画像データを受信する受信処理と、
前記受信処理により受信された埋込画像データに含まれた前記情報の埋込位置を検出する埋込位置検出処理と、
前記受信された埋込画像データに含まれた前記第2画像データを前記タッチパネル上に表示する第1表示処理と、
前記第1表示処理により前記タッチパネル上に表示された前記第2画像データの前記受信された埋込画像データに含まれた前記第2画像データに対する拡大縮小倍率を取得する拡大縮小倍率取得処理と、
前記拡大縮小倍率取得処理により取得された拡大縮小倍率に基づいて、前記埋込位置検出処理により検出された前記情報の埋込位置に対応する、前記タッチパネル上に表示された前記第2画像データ上のXY座標を取得するXY座標取得処理と、
前記第1表示処理により前記タッチパネル上に表示された前記第2画像データに重ねて、前記XY座標取得処理により取得されたXY座標で示される前記情報の埋込位置を視認可能な態様で表示する第2表示処理と、
を実行させる、
情報処理プログラム。
【請求項7】
カメラと、
タッチパネルと、
通信インタフェースと、
コントローラと、
を備えた情報処理端末であって、
前記コントローラは、
物理媒体に対するユーザの撮影指示に応じて前記カメラにより前記物理媒体を撮影し、第1画像データを取得する第1取得処理と、
前記第1取得処理により取得された前記第1画像データに含まれる第1コードを検出してデコードするデコード処理と、
前記デコード処理によりデコードされた前記第1コードが示す、前記情報処理端末の外部の記憶場所から、前記第1画像データと同じ被写体である、前記物理媒体を事前に撮影して得られた第2画像データと、前記第2画像データ上のXY座標により指定された位置に埋め込まれた情報と、を含む埋込画像データを、通信インタフェースを介して受信する受信処理と、
前記受信処理により受信された埋込画像データに含まれた前記情報の埋込位置を検出する埋込位置検出処理と、
前記受信された埋込画像データに含まれた前記第2画像データを前記タッチパネル上に表示する第1表示処理と、
前記第1表示処理により前記タッチパネル上に表示された前記第2画像データの前記受信された埋込画像データに含まれた前記第2画像データに対する拡大縮小倍率を取得する拡大縮小倍率取得処理と、
前記拡大縮小倍率取得処理により取得された拡大縮小倍率に基づいて、前記埋込位置検出処理により検出された前記情報の埋込位置に対応する、前記タッチパネル上に表示された前記第2画像データ上のXY座標を取得するXY座標取得処理と、
前記第1表示処理により前記タッチパネル上に表示された前記第2画像データに重ねて、前記XY座標取得処理により取得されたXY座標で示される前記情報の埋込位置を視認可能な態様で表示する第2表示処理と、
を実行する、
情報処理端末。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、受信した画像データに埋め込まれている情報の位置をユーザに報知する技術に関するものである。
【背景技術】
【0002】
特許文献1には、タッチパネルを備えたスマートフォンで、例えばパンフレットを撮影してタッチパネル上に表示し、その表示画像に対してユーザがタップすると、その表示画像内のタップ位置を特定してサーバコンピュータに送信するようにした情報処理プログラムが記載されている。そして、サーバコンピュータは、特定されたタップ位置の情報を取得して、スマートフォンに送信するようにしている。この情報処理プログラムでは、パンフレットを撮影して得られた画像データに相当する画像データをサーバコンピュータ内に記憶しておき、スマートフォンの表示画像内のタップ位置がサーバコンピュータ内の画像データのどの位置を指示しているかを検出し、検出した位置の情報をスマートフォンに送信するようにしている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6637576号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の情報処理プログラムを応用して、サーバコンピュータ内の画像データにその画像データ上の位置を指定して情報を埋め込んでおき、スマートフォンは、サーバコンピュータから情報の埋め込まれた画像データを取得してタッチパネル上に表示し、ユーザがその表示画像をタップすると、タップ位置に情報が埋め込まれている場合、その情報に応じた動作を行うようにすることが考えられる。
【0005】
しかし、この応用例では、サーバコンピュータから情報の埋め込まれた画像データを取得してタッチパネル上に表示したとき、ユーザは、その埋め込まれた情報が表示画像上のどこに埋め込まれているか知ることができない。これは、特許文献1に記載の情報処理プログラムでは、スマートフォンからは表示画像内の特定されたタップ位置がサーバコンピュータに送信されるだけで、その後の処理はすべてサーバコンピュータ側で行われるため、ユーザは、その埋め込まれた情報が表示画像上のどこに埋め込まれているか知る必要がないからである。
【0006】
このようにユーザは、その埋め込まれた情報が表示画像上のどこに埋め込まれているか知ることができないので、表示画像上の情報の埋め込まれていない位置をタップし、空振りに終わることがある。
【0007】
本願は、ユーザが表示画像上の情報の埋め込み位置を認識することが可能となる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
この課題を解決するためになされた請求項1に係る発明は、カメラと、タッチパネルを備えた情報処理端末に、物理媒体に対するユーザの撮影指示に応じてカメラにより物理媒体を撮影し、第1画像データを取得する第1取得処理と、第1取得処理により取得された第1画像データに含まれる第1コードを検出してデコードするデコード処理と、デコード処理によりデコードされた第1コードが示す、情報処理端末の外部の記憶場所から、第1画像データと同じ被写体である、物理媒体を事前に撮影して得られた第2画像データと、第2画像データ上の指定された位置に埋め込まれた情報と、を含む埋込画像データを受信する受信処理と、受信処理により受信された埋込画像データに含まれた情報の埋込位置を検出する埋込位置検出処理と、受信された埋込画像データに含まれた第2画像データをタッチパネル上に表示する第1表示処理と、第1表示処理によりタッチパネル上に表示された第2画像データに重ねて、埋込位置検出処理により検出された情報の埋込位置を視認可能な態様で表示する第2表示処理と、を実行させる情報処理プログラムであって、第2画像データは、矩形状の画像データであり、情報の埋込位置は、第2画像データの外周を構成する4辺のうちの所定の1辺を底辺とする三角形の2つの底角を指定することで一意的に規定された三角形の頂点により指定される、ことを特徴とする。
【0009】
本願の情報処理プログラムでは、埋込画像データに含まれた画像データをタッチパネル上に表示し、その表示された画像データに重ねて、埋込画像データから検出された情報の埋込位置を視認可能な態様で表示するようにしたので、ユーザは表示画像上の情報の埋め込み位置を容易に認識することが可能となる。
【0011】
さらに、第1コードをデコードするだけで埋込画像データを受信できるので、非常に便利である。
【0012】
また、第1画像データは、第1コードと異なる第2コードを含み、情報処理端末にさらに、第1画像データに含まれた第2コードの第1画像データ上の位置を検出するコード位置検出処理を実行させ、第2表示処理では、コード位置検出処理により検出された第2コードの第2画像データ上の位置も視認可能な態様で表示する、ことを特徴とする。
【0013】
これにより、第2コードの第2画像データ上の位置まで視認可能な態様で表示することができる。
【0014】
また、情報処理端末にさらに、タッチパネル上に表示された第2画像データに対してユーザが操作指示した位置を検出する操作位置検出処理と、操作位置検出処理により検出された操作位置に情報が埋め込まれているか否かを判断する判断処理と、判断処理により情報が埋め込まれていると判断された場合、情報をサーバコンピュータに出力する情報出力処理と、を実行させる、ことを特徴とする。
【0015】
これにより、タッチパネル上に表示された第2画像データに対する操作指示だけで、埋め込まれた情報をサーバコンピュータに出力することができる。
【0016】
また、情報処理端末にさらに、サーバコンピュータが情報の種類に応じて送出したデータを、受信処理においてサーバコンピュータから受信し、受信したデータに応じた制御処理を実行させる、ことを特徴とする。
【0017】
これにより、サーバコンピュータが情報の種類に応じて送出したデータを自動的に受信し、受信したデータに応じた制御処理を自動的に実行するので、ユーザの手間を省くことが可能となる。
【0020】
上記目的を達成するため、本願の情報処理端末は、カメラと、タッチパネルと、通信インタフェースと、コントローラと、を備えた情報処理端末であって、コントローラは、物理媒体に対するユーザの撮影指示に応じてカメラにより物理媒体を撮影し、第1画像データを取得する第1取得処理と、第1取得処理により取得された第1画像データに含まれる第1コードを検出してデコードするデコード処理と、デコード処理によりデコードされた第1コードが示す、情報処理端末の外部の記憶場所から、第1画像データと同じ被写体である、物理媒体を事前に撮影して得られた第2画像データと、第2画像データ上の指定された位置に埋め込まれた情報と、を含む埋込画像データを通信インタフェースを介して受信する受信処理と、受信処理により受信された埋込画像データに含まれた情報の埋込位置を検出する埋込位置検出処理と、受信された埋込画像データに含まれた第2画像データをタッチパネル上に表示する第1表示処理と、第1表示処理によりタッチパネル上に表示された第2画像データに重ねて、埋込位置検出処理により検出された情報の埋込位置を視認可能な態様で表示する第2表示処理と、を実行し、第2画像データは、矩形状の画像データであり、情報の埋込位置は、第2画像データの外周を構成する4辺のうちの所定の1辺を底辺とする三角形の2つの底角を指定することで一意的に規定された三角形の頂点により指定される、ことを特徴とする。
【0021】
本願の情報処理端末では、埋込画像データに含まれた画像データをタッチパネル上に表示し、その表示された画像データに重ねて、埋込画像データから検出された情報の埋込位置を視認可能な態様で表示するようにしたので、ユーザが表示画像上の情報の埋め込み位置を認識することが可能となる。
【0022】
上記目的を達成するため、本願の情報処理プログラムは、カメラと、タッチパネルを備えた情報処理端末に、物理媒体に対するユーザの撮影指示に応じてカメラにより物理媒体を撮影し、第1画像データを取得する第1取得処理と、第1取得処理により取得された第1画像データに含まれる第1コードを検出してデコードするデコード処理と、デコード処理によりデコードされた第1コードが示す、情報処理端末の外部の記憶場所から、第1画像データと同じ被写体である、物理媒体を事前に撮影して得られた第2画像データと、第2画像データ上のXY座標により指定された位置に埋め込まれた情報と、を含む埋込画像データを受信する受信処理と、受信処理により受信された埋込画像データに含まれた情報の埋込位置を検出する埋込位置検出処理と、受信された埋込画像データに含まれた第2画像データをタッチパネル上に表示する第1表示処理と、第1表示処理によりタッチパネル上に表示された画像データの受信された埋込画像データに含まれた第2画像データに対する拡大縮小倍率を取得する拡大縮小倍率取得処理と、拡大縮小倍率取得処理により取得された拡大縮小倍率に基づいて、埋込位置検出処理により検出された情報の埋込位置に対応する、タッチパネル上に表示された第2画像データ上のXY座標を取得するXY座標取得処理と、第1表示処理によりタッチパネル上に表示された第2画像データに重ねて、XY座標取得処理により取得されたXY座標で示される情報の埋込位置を視認可能な態様で表示する第2表示処理と、を実行させる、ことを特徴とする。
【0023】
本願の情報処理プログラムでは、埋込画像データに含まれた画像データをタッチパネル上に表示し、その表示された画像データに重ねて、埋込画像データから検出された情報の埋込位置を視認可能な態様で表示するようにしたので、ユーザは表示画像上の情報の埋め込み位置を容易に認識することが可能となる。
【0024】
上記目的を達成するため、本願の情報処理端末は、カメラと、タッチパネルと、通信インタフェースと、コントローラと、を備えた情報処理端末であって、コントローラは、物理媒体に対するユーザの撮影指示に応じてカメラにより物理媒体を撮影し、第1画像データを取得する第1取得処理と、第1取得処理により取得された第1画像データに含まれる第1コードを検出してデコードするデコード処理と、デコード処理によりデコードされた第1コードが示す、情報処理端末の外部の記憶場所から、第1画像データと同じ被写体である、物理媒体を事前に撮影して得られた第2画像データと、第2画像データ上のXY座標により指定された位置に埋め込まれた情報と、を含む埋込画像データを、通信インタフェースを介して受信する受信処理と、受信処理により受信された埋込画像データに含まれた情報の埋込位置を検出する埋込位置検出処理と、受信された埋込画像データに含まれた第2画像データをタッチパネル上に表示する第1表示処理と、第1表示処理によりタッチパネル上に表示された画像データの受信された埋込画像データに含まれた第2画像データに対する拡大縮小倍率を取得する拡大縮小倍率取得処理と、拡大縮小倍率取得処理により取得された拡大縮小倍率に基づいて、埋込位置検出処理により検出された情報の埋込位置に対応する、タッチパネル上に表示された第2画像データ上のXY座標を取得するXY座標取得処理と、第1表示処理によりタッチパネル上に表示された第2画像データに重ねて、XY座標取得処理により取得されたXY座標で示される情報の埋込位置を視認可能な態様で表示する第2表示処理と、を実行する、ことを特徴とする。
【0025】
本願の情報処理端末では、埋込画像データに含まれた画像データをタッチパネル上に表示し、その表示された画像データに重ねて、埋込画像データから検出された情報の埋込位置を視認可能な態様で表示するようにしたので、ユーザが表示画像上の情報の埋め込み位置を認識することが可能となる。
【図面の簡単な説明】
【0026】
図1】本願の第1実施形態に係るスマートフォンの概略構成を示すブロック図である。
図2】物理媒体としての新聞紙面((a))とその新聞紙面に対応する新聞画像((b))を示す図である。
図3図1中のサーバコンピュータが実行する埋込画像データ生成処理の手順を示すフローチャートである。
図4図2(b)の新聞画像((a))とその新聞画像上の指定した位置に情報を埋め込む様子((b))を示す図である。
図5】埋込位置と埋込情報と画像データとを対応付けるデータのデータフォーマットの一例を示す図である。
図6図1のスマートフォン、特にCPUが実行する埋込画像データ表示処理の手順を示すフローチャートである。
図7図2(a)の新聞紙面((a))とその新聞紙面に対応する新聞画像を図1のスマートフォンのタッチパネル上に表示した表示画面((b))を示す図である。
図8】本願の第2実施形態における埋込位置と埋込情報と画像データとを対応付けるデータのデータフォーマットの一例を示す図である。
図9】本願の第2実施形態に係るスマートフォン、特にCPUが実行する埋込画像データ表示処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0027】
以下、本願の実施形態を図面に基づいて詳細に説明する。
【0028】
(第1実施形態)
図1は、本願の第1実施形態に係るスマートフォン100の概略構成を示すブロック図である。
【0029】
同図に示すように、本実施形態のスマートフォン100は、スマートフォン100全体の制御を司るCPU101を備えている。CPU101には、タッチパネル102、操作子103、各種センサ104,メモリ105、タイマ106、音声入力インターフェース(I/F)107、通信インターフェース(I/F)110、サウンドシステム108及びカメラ109が接続されている。
【0030】
タッチパネル102は、一般的なスマートフォンが備えているものと変わらず、表示デバイスとしての機能と、入力デバイスとしての機能を兼ね備えたものである。ユーザは、例えば自身の指で、タッチパネル102上をタッチすることにより、タッチパネル102の表示画面上の任意の位置を指定することができる。ユーザによって表示画面上の位置が指定されると、その位置情報(座標)がタッチパネル102からCPU101に伝送される。CPU101は、その位置情報に応じた処理(処理しないことも含む)を行う。表示画面上には、各種機能のそれぞれの動作を指示するための複数のアイコンの他に、表示コンテンツが表示される。表示コンテンツは、例えば、図7(b)に示す新聞画像であるが、これは一例に過ぎない。
【0031】
操作子103は、タッチパネル102上に表示されるアイコンやボタン(ソフトウェアにより生成されて表示されるもの)ではなく、ハードウェアスイッチ(ハードウェアにより形成されるもの)である。その典型例としては、電源スイッチやリセットスイッチ(ともに図示せず)などを挙げることができる。
【0032】
各種センサ104には、地磁気センサ、GPS、加速度センサ、超音波センサ、赤外線または可視光を検出する光センサなどが含まれる。
【0033】
メモリ105には、CPU101によって実行される制御プログラムや各種アプリケーションプログラム、各プログラムによって画面表示に利用される画像データや発音に利用される音声データを含む各種データ等を記憶するROMと、上記画像データや音声データを含む各種データ、各種入力情報および演算結果等を一時的に記憶するRAMが含まれている。上記制御プログラムや各種アプリケーションプログラム、各種データ等は、本実施形態では適宜、追加、削除あるいはアップデートできるようにするために、ROMとして、書き換え可能な不揮発性のもの、具体的にはフラッシュメモリを採用している。
【0034】
タイマ106は、タイマ割込み処理における割込み時間や各種時間を計時する。
【0035】
音声入力I/F107は、マイクロフォン(以下「マイク」と略す)111を接続し、マイク111を介して入力された周囲のアナログ音声信号(典型的には、ユーザが発音した音声)をデジタル音声信号(音声データ)に変換し、バッファ(図示せず)に記憶する。
【0036】
通信I/F110は、スマートフォン100を、例えばインターネットなどの通信ネットワーク201に接続させ、通信ネットワーク201に接続された他の機器、本実施形態では、サーバコンピュータ(以下「サーバ」と略して言う)202との間で各種データの送受信を行う。上記プログラム等の追加、削除あるいはアップデートは、サーバ202を介して行うようにしてもよい。この場合、通信I/F110は、サーバ202から各種プログラムや各種データをダウンロードするために用いられる。クライアントとなるスマートフォン100は、通信I/F110および通信ネットワーク201を介してサーバ202へとプログラムやデータのダウンロードを要求するコマンドを送信する。サーバ202は、このコマンドを受け、要求されたプログラムやデータを、通信ネットワーク201を介してスマートフォン100へと配信し、スマートフォン100が通信I/F110を介して、これらプログラムやデータを受信してメモリ105(のフラッシュメモリ)に蓄積することにより、ダウンロードが完了する。なお、サーバ202は、一般的なサーバを用いればよいので、その構成の説明は省略する。
【0037】
サウンドシステム108は、例えば、DACやアンプ、スピーカ等によって構成される。サウンドシステム108は、電話の相手方が発音して、通信ネットワーク201及び通信I/F110を介して入力された音声信号を音響に変換する。この場合、相手方のスマ
ートフォンあるいは電話機が通信ネットワーク201に接続されていることは言うまでもない。また、サウンドシステム108は、CPU101が上記制御プログラムや各種アプリケーションプログラムを実行しているときに生成した楽音信号も音響に変換する。楽音信号は、本実施形態では、CPU101が音源プログラムを実行することによって生成する、いわゆるソフトウェア音源によって生成する。もちろん、ソフトウェア音源を用いて楽音信号を生成する態様に限らず、ハードウェア音源を用いてもよいし、一部をハードウェアで構成し、残りをソフトウェアで構成した音源を用いてもよい。
【0038】
なお本実施形態では、情報出力装置としてスマートフォン100を採用したが、これに限らず、タブレット端末や携帯型のノートPC、PDA(personal digital assistant)などを採用してもよい。ただし本実施形態では、後述するように、印刷媒体に記載されているコード304(図2(a)参照)をカメラ109で撮影して、撮像画像を取得し、その撮像画像に含まれるにコード304対してデコード処理を行うようにしているので、どの装置を採用したとしても、カメラを備えている必要がある。もちろん、内蔵する必要はなく、外付けできる構成であってもよい。
【0039】
以上のように構成されたスマートフォン100及びサーバ202が実行する制御処理を、図2図7を参照して詳細に説明する。
【0040】
図2(a)は、物理媒体の一例としての新聞紙面300を示している。新聞紙面300には、記事301と1次元コード302と2次元コード303,304が記載されている。1次元コード302は、例えばバーコードである。2次元コード303,304は、例えばQRコード(登録商標)である。1次元コード302と2次元コード303には、記事301に関連する情報や宣伝広告に関する情報等が埋め込まれている。一方、2次元コード304には、新聞紙面300に対応する画像データである、図2(b)の新聞画像400が記憶されている場所を示す情報が埋め込まれている。
【0041】
図2(b)の新聞画像400は、新聞紙面300を、例えばカメラ(図示せず)で撮影して得られた画像データである。新聞画像400は、サーバ202の記憶装置(図示せず)内のオペレータが指定した記憶領域に記憶される。したがって、新聞画像400は、スマートフォン100のユーザがカメラ109で撮影して得られ、メモリ105に記憶されたものではない。なお、サーバ202の操作者をオペレータと言い、スマートフォン100の操作者をユーザと言うことにする。
【0042】
新聞画像400には、オペレータが位置を指定して各種情報を埋め込むことができる。図3は、サーバ202が実行する埋込画像データ生成処理の手順を示している。図3において、まずサーバ202は、オペレータが埋込対象の画像データを指示するまで待機し(S100:NO)、オペレータが埋込対象の画像データを指示すると(S100:YES)、サーバ202は、処理をS102に進める。指示された画像データは、例えば、サーバ202のディスプレイ(図示せず)に表示される。図4(a)は、ディスプレイに表示された画像データの一例としての新聞画像400を示している。図4(a)の新聞画像400は、図2(b)の新聞画像400と同じものである。
【0043】
上記S102では、サーバ202は、オペレータが画像データに対して情報の埋込位置を指示するまで待機し(S102:NO)、オペレータが埋込位置を指示すると(S102:YES)、サーバ202は、指示された埋込位置を上記記憶装置に記憶する(S104)。図4(b)は、オペレータがマウスポインタMPを用いて、図4(a)の新聞画像400上の指示点P1を指示した様子を示している。指示点P1は、矩形状の新聞画像400の外周を構成する4辺のうちの1辺、例えば左辺ABを底辺とし、指示点P1を頂点とする三角形の2つの底角θa1及び底角θb1によって一意的に規定される。画像デー
タ上の位置の上記規定方法は、本願出願人が上記特許文献1で開示した方法である。なお、本実施形態では、画像データとして矩形状の画像データを取り扱い、その画像データ上の位置を決定するための三角形の底辺として便宜上、画像データの外周を構成する4辺のうちの左辺を用いているが、いずれか1辺であればよく、左辺に限られる訳ではない。ただし、画像データによって基準となる辺が異なるのは、その後の制御処理を複雑化するので、基準となる1辺を固定しておくことが好ましい。
【0044】
図3に戻り、次にサーバ202は、オペレータが指示した埋込位置に埋込情報を指示するまで待機し(S106:NO)、オペレータが埋込情報を指示すると(S106:YES)、サーバ202は、指示された埋込情報を指示された埋込位置に対応付けて記憶装置に記憶する(S108)。図5は、埋込位置と埋込情報と画像データとを対応付けるデータのデータフォーマットの一例を示している。図5に示すデータは、後述するS112の処理によって記憶装置の所定の記憶領域に記憶したデータである。上記S108の処理は、図5に示すデータを生成する途中の処理、具体的には、指示点P1における埋込位置と埋込情報とを対応付けて一時的に記憶する処理を示している。指示点P1における埋込情報は、動画データの記憶場所と、その動画データを再生するためのアプリケーション(以下「アプリ」と略して言う)を特定する情報である。なお、動画データは、サーバ202の記憶装置の所定の記憶領域に記憶されているので、動画データの記憶場所とは、その所定の記憶領域の場所のことである。
【0045】
図3に戻り、次にサーバ202は、画像データに埋め込ませたい他の情報があるか否かを判断する(S110)。この判断は、例えば上記ディスプレイに「画像データに埋め込ませたい他の情報はありますか?」という表示を行って、オペレータの判断を仰ぎ、その判断結果に応じて行うようにすればよい。S110の判断において、画像データに埋め込ませたい他の情報がある場合(S110:YES)、サーバ202は、処理を上記S102の処理に戻して、S102以降の処理を繰り返す。図5に示すデータでは、新聞画像400に対して指示点P1~P6の6点を指示して、埋込位置と埋込情報とを対応付けているので、サーバ202は、S110の判断において6回“YES”と判断して、処理をS110からS102に戻している。なお、指示可能な埋込情報としては、図5では、動画データの他に、静止画像データ、音声データ、テキストデータ、外部リンク情報などが例示されているが、埋込可能な情報であれば、これらに限らない。
【0046】
一方、画像データに埋め込ませたい他の情報が無い場合(S110:NO)、サーバ202は、一時的に記憶された埋込位置と埋込情報を画像データに対応付けて、記憶装置の所定の記憶領域に記憶する(S112)。
【0047】
次にサーバ202は、オペレータが埋込対象として他の画像データを指示したか否かを判断する(S114)。この判断において、オペレータが埋込対象として他の画像データを指示した場合(S114:YES)、サーバ202は、処理を上記S102に戻して、S102以降の処理を繰り返す。例えば、図2(a)に示す○○○新聞には、複数の新聞紙面があり、第1ページの新聞紙面300に対応する新聞画像400以外の新聞画像に対しても情報を埋め込ませたい場合、上記S114で“YES”と判断されて、サーバ202は、処理を上記S102に戻すことになる。これにより、図5に示すデータとデータ形式が同じでデータ内容の異なるデータが異なる画像データに対応付けられて、記憶装置の所定の記憶領域に記憶される。
【0048】
一方、オペレータが埋込対象の他の画像データを指示しなかった場合(S114:NO)、サーバ202は、埋込画像データ生成処理を終了する。
【0049】
次に、スマートフォン100が実行する制御処理を説明する。図6は、スマートフォン
100、特にCPU101が実行する埋込画像データ表示処理の手順を示している。図6において、まずCPU101は、指示された埋込画像データを取得する(S10)。
【0050】
図7(a)は、図2(a)と同じ新聞紙面300を示している。ユーザがスマートフォン100のカメラ109で2次元コード304を撮影すると、スマートフォン100のデコードアプリ(図示せず)が起動して、2次元コード304をデコードする。2次元コード304には、上述のように、図2(b)の新聞画像400が記憶されている場所を示す情報が埋め込まれているので、スマートフォン100は、2次元コード304をデコードすることにより、新聞画像400が記憶されている場所を取得し、取得した場所から新聞画像400を取得することができる。新聞画像400には、各種埋込情報が埋め込まれているので、新聞画像400は埋込画像データである。したがって、この場合、CPU101は、各種埋込情報が埋め込まれた新聞画像400、つまり図5に示すデータとこのデータに対応付けられた画像データを、サーバ202の記憶装置の所定の記憶領域から取得する。
【0051】
図6に戻り、次にCPU101は、埋込画像データから埋込位置を1つ読み出す(S12)。図5に示すデータでは、CPU101は、埋込位置として指示点P1の埋込位置(θa1,θb1)を読み出す。そして、CPU101は、ビームマーカ表示レイヤ上の埋込位置に相当する位置にビームマーカを表示する(S14)。ビームマーカ表示レイヤは、スマートフォン100のタッチパネル102と同じ表示領域を有するレイヤであり、埋込画像データに含まれる画像データを表示する表示レイヤに重ねて表示するものである(後述するS34を参照)。ビームマーカとは、本実施形態では、発光場所(例えば、指示点P1~P6)における発光面積の大きさをランダムにあるいは所定の規則に従って変動させながら発光させるマーカのことである。
【0052】
次にCPU101は、読み出すべき埋込位置があるか否かを判断する(S16)。図5に示すデータでは、指示点P1の他に読み出すべき埋込位置があるので、CPU101は、この判断において、読み出すべき埋込位置があると判断し(S16:YES)、埋込位置を次の埋込位置に変更した(S18)後、上記S12に戻って、埋込位置の読み出しを続ける。
【0053】
一方、上記S16の判断において、読み出すべき埋込位置が無い場合(S16:NO)、CPU101は、デコードすべきコードがあるか否かを判断する(S20)。図4(b)に示す新聞画像400には、2つのコード402,403が含まれているので、CPU101は、S20の判断において、デコードすべきコードがあると判断し(S20:YES)、検出したコードをデコードし(S22)、そのコードの位置を特定し(S24)、さらにビームマーカ表示レイヤ上の特定位置に相当する位置にビームマーカを表示する(S26)。なお、S22のデコードは省略し、ユーザがそのコードをタップ等により指示したときにそのコードのデコードを行うようにしてもよい。コードの検出は、そのコードの位置にビームマーカを表示するためになされているからである。
【0054】
次にCPU101は、デコードすべき他のコードがあるか否かを判断する(S28)。図4(b)に示す新聞画像400において、まず1次元コード402がデコードされたとすると、まだ2次元コード403のデコードが残っているので、CPU101は、S28の判断において、デコードすべき他のコードがあると判断し(S28:YES)、次のコードを選択した(S30)後、上記S22に戻って、S22以降の処理を繰り返す。一方、S28の判断において、デコードすべき他のコードが無い場合(S28:NO)、CPU101は、処理をS32に進める。
【0055】
一方、上記S20の判断において、デコードすべきコードが無い場合も(S20:NO
)、CPU101は、処理をS32に進める。
【0056】
S32では、CPU101は、埋込画像データに含まれる画像データをタッチパネル102上に表示する。そして、CPU101は、画像データの表示レイヤにビームマーカ表示レイヤを重ねて表示した(S34)後、埋込画像データ表示処理を終了する。
【0057】
図7(b)は、図4(b)に示す新聞画像400とこれに対応付けた図5に示すデータに対して埋込画像データ表示処理を実行した結果を示している。図7(b)に示すように、スマートフォン100のタッチパネル102上には、新聞画像400に対応する新聞画面400Aが表示され、その指示点P1~P6にはビームマーカが表示され、コードの表示位置P7,P8にもビームマーカが表示されている。これにより、ユーザは、新聞画面400A上のどの位置に情報が埋め込まれているかを一目で知ることができるので、新聞画面400A上の情報の埋め込まれていない位置をタップし、空振りに終わることがない。
【0058】
なお、本実施形態では、コードの位置の特定をスマートフォン100側で行うようにした(上記S24参照)が、これに限らず、サーバ202側で行うようにしてもよい。サーバ202側で行うようにした場合、図5に示すデータに、指示点P7,P8として埋込位置(θa7,θb7),(θa8,θb8)と各デコード結果の埋込情報を追加するようにすればよい。
【0059】
次に、ユーザが新聞画面400A上の情報の埋め込まれた位置をタップしたときに、スマートフォン100のCPU101が実行する制御処理について簡単に説明する。図7(b)に示すように、ユーザが指示点P1をタップすると、CPU101は、指示点P1を頂点とし、新聞画面400Aの左辺を底辺とする三角形の2つの底角の角度を算出する。そして、算出した2つの底角の角度と、図5に示すデータに含まれる埋込位置とを比較する。図5に示すデータには、指示点P1に対応する埋込位置が含まれるので、CPU101は、その埋込位置に対応付けられた埋込情報を読み出す。そして、CPU101は、読み出した埋込情報を、通信I/F110を介してサーバ202に送信する。指示点P1における埋込情報は、具体的には、動画データの記憶場所と、その動画データを再生するためのアプリあるので、サーバ202は、その記憶場所にある動画データを読み出して、指定されたアプリで再生し、再生した動画データをスマートフォン100に送信する。スマートフォン100は、サーバ202が送信した動画データを、通信I/F110を介して受信し、タッチパネル102上に表示する。
【0060】
以上説明したように、本実施形態のスマートフォン100は、タッチパネル102と、通信I/F110と、CPU101と、を備えている。
【0061】
CPU101は、新聞画像400と、新聞画像400上の指定された位置に埋め込まれた情報と、を含む埋込画像データをスマートフォン100の外部から通信I/F110を介して受信する受信処理と、受信処理により受信された埋込画像データに含まれた情報の埋込位置を検出する埋込位置検出処理と、受信された埋込画像データに含まれた新聞画像400をタッチパネル102上に表示する第1表示処理と、第1表示処理によりタッチパネル102上に表示された新聞画像400に重ねて、埋込位置検出処理により検出された情報の埋込位置をビームマーカで表示する第2表示処理と、を実行し、新聞画像400は、矩形状の画像データであり、情報の埋込位置は、新聞画像400の外周を構成する4辺のうちの左辺を底辺とする三角形の2つの底角を指定することで一意的に規定された三角形の頂点により指定される。
【0062】
このように、本実施形態のスマートフォン100では、埋込画像データに含まれた画像
データをタッチパネル上に表示し、その表示された画像データに重ねて、埋込画像データから検出された情報の埋込位置をビームマーカで表示するようにしたので、ユーザは表示画像上の情報の埋め込み位置を容易に認識することが可能となる。
【0063】
ちなみに、本実施形態において、スマートフォン100は、「情報処理端末」の一例である。CPU101は、「コントローラ」の一例である。新聞画像400は、「画像データ」の一例である。ビームマーカは、「視認可能な態様」の一例である。左辺は、「所定の1辺」の一例である。
【0064】
(第2実施形態)
次に、本願の第2実施形態について説明する。本実施形態は、上記第1実施形態に対して埋込位置の座標の表現方法が異なっている。そして、本実施形態は、スマートフォン100及びサーバ202がそれぞれ実行する制御処理の一部を変更するだけで実現できるので、変更する部分を中心に説明し、それ以外の説明は適宜省略する。また、本実施形態のハードウェアは、上記図1に記載のハードウェアをそのまま用いるものとする。
【0065】
図8は、本実施形態における埋込位置と埋込情報と画像データとを対応付けるデータのデータフォーマットの一例を示している。上記第1実施形態の図5に示すデータと比較すれば分かるように、例えば指示点P1の埋込位置が、図5に示すデータでは、上述のように指示点P1を頂点とする三角形の2つの底角θa1及び底角θb1によって表現されるのに対して、図8に示すデータでは、画像データの横軸をX軸とし、縦軸をY軸とするXY座標(Xa1,Yb1)によって表現される点が異なっている。なお、XY座標(Xa1,Yb1)は、本実施形態では、例えば所定の原点Oからのピクセル数で表現されるものとするが、ビット数等の他の表現方法を採用してもよい。
【0066】
本実施形態のサーバ202が実行する埋込画像データ生成処理は、上記第1実施形態で説明した埋込画像データ生成処理をそのまま用いることができる。ただし、上記S104(図3参照)の処理において、埋込位置の表現を上記XY座標に変更する必要がある。
【0067】
図9は、本実施形態のスマートフォン100、特にCPU101が実行する埋込画像データ表示処理の手順を示している。図9の埋込画像データ表示処理は、図6の埋込画像データ表示処理の一部を変更して実現しているので、図9中、図6と同様の処理には同一符号を付して、その説明は適宜省略する。ただし、図9の埋込画像データ表示処理には、図6の埋込画像データ表示処理に含まれているS20~S30の処理は含まれていない。これは、コード位置はタッチパネル102上の表示画面に基づいて特定しているので、座標の表現方法を変更したとしても、コード位置の特定方法は異ならないため、省略しているに過ぎない。したがって実際には、図9の埋込画像データ表示処理にも、S20~S30の処理が含まれている。
【0068】
図9において、S12の処理に続き、CPU101は拡大縮小倍率を取得する(S40)。ここで、拡大縮小倍率とは、S10の処理により取得した埋込画像データに含まれる画像データをスマートフォン100のタッチパネル102上に表示する際の拡大縮小倍率を意味する。そして、CPU101は、取得した拡大縮小倍率に基づいてビームマーカ表示レイヤ上の埋込位置に相当する位置にビームマーカを表示する(S42)。なお、拡大縮小倍率を取得する方法は、S10で取得した埋込画像データに含まれた画像データに対する、S32の処理で表示する画像データの拡大縮小倍率を算出して取得するようにしてもよいし、図示しない表示アプリ等が自動的に拡大縮小倍率を出力し、CPU101がこの拡大縮小倍率を読み込むことにより取得するようにしてもよい。
【0069】
CPU101は、上記図4(b)に示す新聞画像400とこれに対応付けた図8に示す
データに対して埋込画像データ表示処理を実行すると、上記図7(b)と同様に、スマートフォン100のタッチパネル102上には、新聞画像400に対応する新聞画面400Aが表示され、その指示点P1~P6にはビームマーカが表示され、コードの表示位置P7,P8にもビームマーカが表示される。これにより、ユーザは、新聞画面400A上のどの位置に情報が埋め込まれているかを一目で知ることができるので、新聞画面400A上の情報の埋め込まれていない位置をタップし、空振りに終わることがない。
【0070】
次に、ユーザが新聞画面400A上の情報の埋め込まれた位置をタップしたときに、スマートフォン100のCPU101が実行する制御処理について簡単に説明する。図7(b)に示すように、ユーザが指示点P1をタップすると、CPU101は、タッチパネル102上の指示点P1のXY座標を取得する。そして、CPU101は、取得した指示点P1のXY座標を上記拡大縮小倍率の逆数に基づいて変換し、サーバ202から取得した新聞画像400における指示点P1のXY座標(Xa1,Yb1)を算出し、このXY座標(Xa1,Yb1)と、図8に示すデータに含まれる埋込位置とを比較する。図8に示すデータには、指示点P1に対応する埋込位置が含まれるので、CPU101は、その埋込位置に対応付けられた埋込情報を読み出す。そして、CPU101は、読み出した埋込情報を、通信I/F110を介してサーバ202に送信する。指示点P1における埋込情報は、具体的には、動画データの記憶場所と、その動画データを再生するためのアプリあるので、サーバ202は、その記憶場所にある動画データを読み出して、指定されたアプリで再生し、再生した動画データをスマートフォン100に送信する。スマートフォン100は、サーバ202が送信した動画データを、通信I/F110を介して受信し、タッチパネル102上に表示する。
【0071】
以上説明したように、本実施形態のスマートフォン100は、タッチパネル102と、通信I/F110と、CPU101と、を備えている。
【0072】
CPU101は、新聞画像400と、新聞画像400上のXY座標により指定された位置に埋め込まれた情報と、を含む埋込画像データをスマートフォン100の外部から受信する受信処理と、受信処理により受信された埋込画像データに含まれた情報の埋込位置を検出する埋込位置検出処理と、受信された埋込画像データに含まれた新聞画像400をタッチパネル102上に表示する第1表示処理と、第1表示処理によりタッチパネル102上に表示された新聞画像400の受信された埋込画像データに含まれた新聞画像400に対する拡大縮小倍率を取得する拡大縮小倍率取得処理と、拡大縮小倍率取得処理により取得された拡大縮小倍率に基づいて、埋込位置検出処理により検出された情報の埋込位置に対応する、タッチパネル102上に表示された新聞画像400上のXY座標を取得するXY座標取得処理と、第1表示処理によりタッチパネル102上に表示された新聞画像400に重ねて、XY座標取得処理により取得されたXY座標で示される情報の埋込位置を視認可能な態様で表示する第2表示処理と、を実行する。
【0073】
このように、本実施形態のスマートフォン100でも、埋込画像データに含まれた画像データをタッチパネル上に表示し、その表示された画像データに重ねて、埋込画像データから検出された情報の埋込位置をビームマーカで表示するようにしたので、ユーザは表示画像上の情報の埋め込み位置を容易に認識することが可能となる。
【0074】
なお、本発明は上記各実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で様々な変更が可能である。
【0075】
(1)上記各実施形態では、物理媒体としての印刷媒体として、新聞紙面300を例に挙げて説明したが、これに限らず、カタログやパンフレット、チラシなどの他の印刷媒体であっても、本発明を同様に適用することができる。
【0076】
(2)上記各実施形態では、タッチパネル102上に表示された新聞画像400に対する指示は、ユーザ自身の指で行うとしたが、これに限らず、スタイラスペンなどを用いて行うようにしてもよい。また指示態様は、上記実施形態では、タップ、つまりシングルタップを想定しているが、これに限らず、ダブルタップでもよいし、さらに他の指示態様であってもよい。
【0077】
(3)上記第1実施形態では、新聞画像400上のユーザの指示位置は、所定の三角形の2つの底角の角度によって特定するようにしたが、これに限らず、当該三角形の頂点、つまりユーザの指示位置の点から、当該三角形の底辺に延ばした垂線と、その両側の辺とのなす角、つまり、頂角を垂線によって分割して形成される2角の角度によって特定するようにしてもよい。
【0078】
(4)上記各実施形態では、情報を埋め込む際のコード化の方法については言及されていない。これは本発明では、どのような方法によりコード化されても、デコードにより埋込み情報が検出できれば、問題は生じないので、どのようなコード化方法を採用してもよいという趣旨である。
【0079】
(5)上記各実施形態では、埋込画像データにおける情報の埋込位置をビームマーカにより表示するようにしたが、表示態様はこれに限らず、光の点滅や光の色を変化させる等、ユーザが視認できるような内容であれば、ビームマーカに限らない。
【符号の説明】
【0080】
100…スマートフォン、101…CPU、102…タッチパネル、105…メモリ、110…通信I/F、201…通信ネットワーク、202…サーバコンピュータ 。
【要約】
【課題】ユーザが表示画像上の情報の埋め込み位置を認識することが可能となる技術を提供すること。
【解決手段】CPU101は、新聞画像400と、新聞画像400上の指定された位置に埋め込まれた情報と、を含む埋込画像データをスマートフォン100の外部から通信I/F110を介して受信し、受信された埋込画像データに含まれた情報の埋込位置を検出し、受信された埋込画像データに含まれた新聞画像400をタッチパネル102上に表示し、タッチパネル102上に表示された新聞画像400に重ねて、検出された情報の埋込位置を視認可能な態様で表示する。そして、新聞画像400は、矩形状の画像データであり、情報の埋込位置は、新聞画像400の外周を構成する4辺のうちの左辺を底辺とする三角形の2つの底角を指定することで一意的に規定された三角形の頂点により指定される。
【選択図】 図7
図1
図2
図3
図4
図5
図6
図7
図8
図9