特許 7201419 画像処理システム、情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-26

(45)【発行日】2023-01-10

(54)【発明の名称】画像処理システム、情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20221227BHJP

   H04N 23/60 20230101ALI20221227BHJP

   H04N 23/63 20230101ALI20221227BHJP

   H04N 5/765 20060101ALI20221227BHJP

   G09G 5/36 20060101ALI20221227BHJP

   G09G 5/377 20060101ALI20221227BHJP

【ＦＩ】

G06T11/80 A

H04N5/232 300

H04N5/232 930

H04N5/232 290

H04N5/765

G09G5/36 520E

G09G5/36 520L

【請求項の数】 11

(21)【出願番号】P 2018237781

(22)【出願日】2018-12-19

(65)【公開番号】P2020101868

(43)【公開日】2020-07-02

【審査請求日】2021-07-19

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】井上 香菜子

(72)【発明者】

【氏名】新谷 浩一

(72)【発明者】

【氏名】谷 憲

(72)【発明者】

【氏名】福谷 佳之

(72)【発明者】

【氏名】長 和彦

(72)【発明者】

【氏名】野中 修

【審査官】板垣 有紀

(56)【参考文献】

【文献】特開２００７－１８１０２８（ＪＰ，Ａ）

【文献】特開２０１２－０８０３１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／７６５

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

第１の機器が自然物を撮像して得た第１の画像データを受信する通信部と、
前記第１の画像データに対応する第１の画像を表示部の表示画面上に表示する表示制御部と、
前記第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像部と、
前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出部と、
前記算出部が算出した前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理部と、
を備え、
前記撮像部は、
前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、
前記算出部は、
前記撮像部によって順次生成されたライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、
画像処理システム。

【請求項2】

外部機器によって生成された第１の画像データを受信する通信部と、
前記第１の画像データに対応する第１の画像を紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像部と、
前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出部と、
前記算出部が算出した前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理部と、
を備え、
前記撮像部は、
前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、
前記算出部は、
前記撮像部によって順次生成されたライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、
情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記処理情報は、
前記第１の画像データのプリント時に合成される文字情報である、
情報処理装置。

【請求項4】

請求項３に記載の情報処理装置であって、
前記処理情報は、
前記第１の画像データに対応する第１の画像を前記紙媒体上において貼付するための貼付情報である、
情報処理装置。

【請求項5】

請求項４に記載の情報処理装置であって、
前記貼付情報は、テキスト情報、前記第１の画像を前記紙媒体上に貼付するための位置を示す位置情報および大きさ情報を含む、
情報処理装置。

【請求項6】

請求項５に記載の情報処理装置であって、
前記第１の画像と、前記第２の画像と、前記処理情報と、を含む画像ファイルを生成して記録部に記録する記録制御部をさらに備える、
情報処理装置。

【請求項7】

請求項６に記載の情報処理装置であって、
前記ライブビュー画像を表示部に表示させる表示制御部をさらに備え、
前記表示制御部は、前記画像処理部によってリサイズされた前記第１の画像を前記ライブビュー画像における前記筆記情報に重畳して前記表示部に表示させる、
情報処理装置。

【請求項8】

画像処理システムが実行する画像処理方法であって、
第１の機器が自然物を撮影して得た第１の画像データを受信する通信ステップと
前記第１の画像データに対応する第１の画像を表示部の表示画面上に表示する表示制御ステップと、
前記第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像ステップと、
前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出ステップと、
前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理ステップと、
を含み、
前記撮像ステップは、
前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、
前記算出ステップは、
前記撮像ステップによって順次生成された前記第２の画像であるライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、
情報処理方法。

【請求項9】

情報処理装置が実行する情報処理方法であって、
外部機器によって生成された第１の画像データを受信する通信ステップと
前記第１の画像データに対応する第１の画像を紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像ステップと、
前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出ステップと、
前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理ステップと、
を含み、
前記撮像ステップは、
前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、
前記算出ステップは、
前記撮像ステップによって順次生成された前記第２の画像であるライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、
情報処理方法。

【請求項10】

画像処理システムに実行させるプログラムであって、
第１の機器が自然物を撮影して得た第１の画像データを受信する通信ステップと
前記第１の画像データに対応する第１の画像を表示部の表示画面上に表示する表示制御ステップと、
前記第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像ステップと、
前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出ステップと、
前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理ステップと、
を含み、
前記撮像ステップは、
前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、
前記算出ステップは、
前記撮像ステップによって順次生成された前記第２の画像であるライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、
プログラム。

【請求項11】

情報処理装置に実行させるプログラムであって、
外部機器によって生成された第１の画像データを受信する通信ステップと
前記第１の画像データに対応する第１の画像を紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像ステップと、
前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出ステップと、
前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理ステップと、
を含み、
前記撮像ステップは、
前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、
前記算出ステップは、
前記撮像ステップによって順次生成された前記第２の画像であるライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被写体を撮像することによって画像データを生成する画像処理システム、情報処理装置、画像処理装置、情報処理方法、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

映像処理システムにおいて、複数の画像で構成された映像中に存在する物に関する情報をリアルタイムに生成する技術が知られている（例えば特許文献１参照）。この技術によれば、認識対象物の画像内の特徴点に基づくｉ次元の特徴ベクトルからなる第１局所特徴量と、第１の画像内に基づくｊ次元の特徴ベクトルからなる第２局所特徴量と、第１の画像と異なる第２の画像内に基づくｋ次元の特徴ベクトルからなる第３局所特徴量と、に基づいて、認識対象物に関する情報を生成することによって、画像中に存在する物の出現率を判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－９２３０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１では、映像中に存在する物の出現率を判定しているのみであり、画像の確認時に画像とその他の情報との関連付けが分からなかった。このため、画像の確認時に画像との関連性を把握することができる技術が望まれていた。

【0005】

本開示は、上記に鑑みてなされたものであって、画像の確認時に画像とその他の情報との関連性を把握することができる画像処理システム、情報処理装置、画像処理装置、情報処理方法、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る画像処理システムは、第１の機器が自然物を撮影して得た第１の画像データと、第２の機器が手書きメモを撮影して得た第２の画像データと、を受信する通信部と、前記第１の画像データを表示部の表示画面上に表示する表示制御部と、を備え、前記第２の画像データは、前記表示画面上において表示するための処理情報を含む。

【0007】

また、本開示に係る情報処理装置は、外部機器によって生成された第１の画像データを受信する通信部と、前記第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像を撮像する撮像部と、を備える。

【0008】

また、本開示に係る情報処理装置は、上記開示において、前記処理情報は、前記第１の画像データのプリント時に合成される文字情報である。

【0009】

また、本開示に係る情報処理装置は、上記開示において、前記処理情報は、前記第１の画像データに対応する第１の画像を前記紙媒体上において貼付するための貼付情報である。

【0010】

また、本開示に係る情報処理装置は、上記開示において、前記貼付情報は、テキスト情報、前記第１の画像を前記紙媒体上に貼付するための位置を示す位置情報および大きさ情報を含む。

【0011】

また、本開示に係る情報処理装置は、上記開示において、前記紙媒体上に前記第１の画像を貼付するための貼付領域を算出する算出部と、前記算出部が算出した前記貼付領域に基づいて、前記第１の画像の表示領域をリサイズする画像処理部と、をさらに備え、前記撮像部は、前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、前記算出部は、前記撮像部によって順次生成されたライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する。

【0012】

また、本開示に係る情報処理装置は、上記開示において、前記第１の画像と、前記第２の画像と、前記処理情報と、を含む画像ファイルを生成して記録部に記録する記録制御部をさらに備える。

【0013】

また、本開示に係る情報処理装置は、上記開示において、前記ライブビュー画像を表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記画像処理部によってリサイズされた前記第１の画像を前記ライブビュー画像における前記筆記情報に重畳して前記表示部に表示させる。

【0014】

また、本開示に係る画像処理装置は、情報処理装置によって生成された外部機器によって生成された第１の画像と、前記第１の画像を紙媒体上において表示するための処理情報を有する第２の画像と、を含む画像ファイルを受信する通信部と、前記処理情報に基づいて、前記第１の画像に前記第２の画像を合成することによって合成データを生成する合成部と、前記合成データを出力する出力部と、を備える。

【0015】

また、本開示に係る画像処理装置は、上記開示において、前記処理情報は、前記第１の画像のプリント時に合成される文字情報である。

【0016】

また、本開示に係る画像処理装置は、上記開示において、前記処理情報は、前記第１の画像を前記紙媒体上において貼付するための貼付情報である。

【0017】

また、本開示に係る画像処理方法は、画像処理システムが実行する画像処理方法であって、第１の機器が自然物を撮影して得た第１の画像データと、第２の機器が手書きメモを撮影して得た第２の画像データと、を受信し、前記第１の画像データを表示部の表示画面上に表示し、前記第２の画像データは、前記表示画面上において表示するための処理情報を含む。

【0018】

また、本開示に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、外部機器によって生成された第１の画像を受信し、前記第１の画像を紙媒体上において表示するための処理情報を含む第２の画像を撮像する。

【0019】

また、本開示に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、情報処理装置によって生成された外部機器によって生成された第１の画像と、前記第１の画像を紙媒体上において表示するための処理情報を有する第２の画像と、を含む画像ファイルを受信し、前記処理情報に基づいて、前記第１の画像に前記第２の画像を合成することによって合成データを生成し、前記合成データを出力する。

【0020】

また、本開示に係るプログラムは、画像処理システムに実行させるプログラムであって、第１の機器が自然物を撮影して得た第１の画像データと、第２の機器が手書きメモを撮影して得た第２の画像データと、を受信し、前記第１の画像データを表示部の表示画面上に表示し、前記第２の画像データは、前記表示画面上において表示するための処理情報を含む。

【0021】

また、本開示に係るプログラムは、情報処理装置に実行させるプログラムであって、外部機器によって生成された第１の画像を受信し、前記第１の画像を紙媒体上において表示するための処理情報を含む第２の画像を撮像する。

【0022】

また、本開示に係るプログラムは、画像処理装置に実行させるプログラムであって、情報処理装置によって生成された外部機器によって生成された第１の画像と、前記第１の画像を紙媒体上において表示するための処理情報を有する第２の画像と、を含む画像ファイルを受信し、前記処理情報に基づいて、前記第１の画像に前記第２の画像を合成することによって合成データを生成し、前記合成データを出力する。

【発明の効果】

【0023】

本開示によれば、画像の確認時に画像とその他の情報との関連性を把握することができるという効果を奏する。

【図面の簡単な説明】

【0024】

【図1】図１は、実施の形態１に係る画像処理システムの概要を示す模式図である。

【図2】図２は、実施の形態１に係るキャプチャー装置の機能構成を示すブロック図である。

【図3】図３は、実施の形態１に係る携帯端末の機能構成を示すブロック図である。

【図4】図４は、実施の形態１に係るサーバの機能構成を示すブロック図である。

【図5】図５は、ユーザがキャプチャー装置を用いて検体を観察している状況下を示す図である。

【図6】図６は、キャプチャー装置が撮像した画像の一例を示す図である。

【図7】図７は、ユーザが作成したノートの一例を示す図である。

【図8】図８は、ユーザが携帯端末を用いてノートを撮影した際の状況下を示す図である。

【図9】図９は、サーバが生成する画像の一例を模式的に示す図である。

【図10】図１０は、画像ファイルに格納されるデータの一例を模式的に示す図である。

【図11A】図１１Ａは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図11B】図１１Ｂは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図11C】図１１Ｃは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図11D】図１１Ｄは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図11E】図１１Ｅは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図11F】図１１Ｆは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図12】図１２は、実施の形態１に係るキャプチャー装置が実行する処理の概要を示すフローチャートである。

【図13】図１３は、図１２の観察モード処理の概要を示すフローチャートである。

【図14】図１４は、実施の形態１に係る携帯端末が実行する処理の概要を示すフローチャートである。

【図15】図１５は、図１４の顕微鏡モード処理の概要を示すフローチャートである。

【図16】図１６は、図１５のＡＲ表示処理の概要を示すフローチャートである。

【図17】図１７は、実施の形態１に係る算出部が算出する貼付領域の算出方法を模式的に示す図である。

【図18】図１８は、実施の形態１に係る算出部が算出する貼付領域の算出方法を模式的に示す図である。

【図19】図１９は、実施の形態１に係るサーバが実行する処理の概要を示すフローチャートである。

【図20】図２０は、実施の形態２に係る画像処理システムの概要を示す模式図である。

【図21】図２１は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。

【図22】図２２は、ユーザがキャプチャー装置で撮影した画像にメモを添えて印刷または送付する際の状況下を示す図である。

【図23】図２３は、キャプチャー装置から画像処理装置へ送信した画像の一例を模式的に示す図である。

【図24】図２４は、ユーザが作成したメモを携帯端末で撮影している状況下を示す図である。

【図25】図２５は、携帯端末でメモを撮像した画像の一例を模式的に示す図である。

【図26】図２６は、画像処理装置によって印刷または送信される画像の一例ユーザを模式的に示す図である。

【図27】図３１は、画像処理装置が印刷する画像の一例を模式的に示す図である。

【図28】図３２は、画像処理装置が印刷する画像の一例を模式的に示す図である。

【図29A】図２９Ａは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図29B】図２９Ｂは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図29C】図２９Ｃは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図29D】図２９Ｄは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図29E】図２９Ｅは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図29F】図２９Ｆは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図29G】図２９Ｇは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。

【図30】図３０は、実施の形態２に係るキャプチャー装置が実行する処理の概要を示すフローチャートである。

【図31】図３１は、実施の形態２に係るキャプチャー装置が実行する再生モード処理の概要を示すフローチャートである。

【図32】図３２は、実施の形態２に係る画像処理装置が実行する処理の概要について説明する。

【発明を実施するための形態】

【0025】

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。

【0026】

（実施の形態１）
本開示によれば、画像の確認時にメモなどを撮影したその他の情報（それを撮影した画像等）と画像との関連性を把握することができるという効果を奏する。特に手書きによるメモは、勢いをもって書くことによって、あるいは丁寧に書くことによって、それぞれ異なったメッセージ性を持つことになり、この筆跡をそのまま撮影することによって、そこに込められたメッセージを保ったまま、伝えることが可能となる。

【0027】

近年では、キーボードやタッチパネルやマウス、あるいは音声入力など、専用の入力用デバイスを使ってユーザが情報入力できる環境が整ってきているが、ペンや鉛筆の筆記用具を使っての手書きによる入力や修正の簡便性や情緒性の魅力もまた存在しており、本開示の実施の形態１のように迅速に片手で、気づいたことを即座にメモするような状況などは、こうした手書きが重視されるシーンである。このような状況下で、手書きとデジタル情報のマッチング技術の改善が求められていた。

【0028】

文字や記号を含まない自然物の画像というものはそれだけでは、何を表しているのかわからないことが多く、こうした第１の画像データに対して、こうした手書き情報を付加することで価値が上がることが多い。この第１の画像データを通信によって飛ばし、紙媒体上に再現するのみならず、この同じ紙媒体上において、手書き情報を有効活用することが重要である。スマートフォンなどの携帯端末（外部機器）によって、手書き情報を撮影して生成された情報を加味するのが今回の技術であり、この手書き情報は、上記紙媒体上にこうした情報を併せて再現するための処理情報を含む第２の画像と言い表すことが出来る。

【0029】

〔画像処理システムの概要〕
図１は、実施の形態１に係る画像処理システムの概要を示す模式図である。図１に示す画像処理システム１は、ユーザが検体等を観察しながら撮影することができるキャプチャー装置２と、ユーザが所有する携帯端末３と、ネットワーク１００を経由してキャプチャー装置２および携帯端末３から各種情報を受信するとともに、各種情報を送信するサーバ４と、を備える。

【0030】

〔キャプチャー装置の構成〕
まず、キャプチャー装置２の構成について説明する。図２は、キャプチャー装置２の機能構成を示すブロック図である。図２に示すキャプチャー装置２は、ビデオマイクロスコープ、生物顕微鏡および工業顕微鏡等の顕微鏡である。なお、図２では、顕微鏡を例に説明するが、顕微鏡以外にも、デジタルカメラ等の撮像装置、タブレット型端末装置、カムコーダ、撮影機能付きＩＣレコーダ、工業用または医療用の内視鏡であっても適用することができる。

【0031】

図２に示すキャプチャー装置２は、光学系２１と、撮像部２２と、収音部２３と、時計２４と、操作部２５と、通信部２６と、記録部２７と、表示部２８と、制御部２９と、を備える。

【0032】

光学系２１は、被写体像を結像し、この結像した被写体像をユーザおよび撮像部２２に出射する。光学系２１は、少なくとも１または複数のレンズを用いて構成される。また、光学系２１は、制御部２９の制御のもと、焦点距離および焦点位置を変更する。なお、実施の形態１では、光学系２１を対物レンズや接眼レンズとして説明するが、キャプチャー装置２の構成によって、例えば交換レンズ等であってもよい。

【0033】

撮像部２２は、制御部２９の制御のもと、光学系２１によって結像された被写体像を受光し、光電変換を行うことによって画像データを生成する。撮像部２２は、画像データを制御部２９へ出力する。撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）およびＡ／Ｄ変換回路等を用いて構成される。

【0034】

収音部２３は、制御部２９の制御のもと、ユーザが発した音声を取得し、取得した音声に対してＡ／Ｄ変換を行うことによって音声データを生成する。収音部２３は、音声データを制御部２９へ出力する。収音部２３は、マイクロフォン、アンプ回路およびＡ／Ｄ変換回路等を用いて構成される。

【0035】

時計２４は、時間を計時し、この計時結果を制御部２９へ出力する。時計２４は、計時機能の他、撮像部２２によって生成された画像データの日時に関する日時情報を生成し、この日時情報を制御部２９へ出力する。時計２４は、クロックジェネレータ等を用いて構成される。

【0036】

操作部２５は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部２９へ出力する。操作部２５は、タッチパネル、スイッチ、ボタン、ジョグダイヤルおよび回転レバー等を用いて構成される。

【0037】

通信部２６は、制御部２９の制御のもと、所定の通信規格、例えばＷｉ－Ｆｉ（Wireless Fidelity）（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）に従って、ネットワーク１００を経由して入力された各種情報を制御部２９へ出力するとともに、制御部２９から入力された各種情報を外部へ送信する。通信部２６は、通信モジュール等を用いて構成される。

【0038】

記録部２７は、キャプチャー装置２に関する各種情報を記録する。記録部２７は、Ｆｌａｓｈメモリ、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等を用いて構成される。記録部２７は、画像データを含む画像ファイルを記録する画像ファイル記録部２７１と、音声データを含む音声ファイルを記録する音声ファイル記録部２７２と、第１の画像データおよび第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像データを含む補助データを記録する補助データ記録部２７３と、キャプチャー装置２が実行する各種プログラムや処理中に使用する各種データを記録するプログラム記録部２７４と、を有する。

【0039】

表示部２８は、制御部２９の制御のもと、キャプチャー装置２に関する各種情報を表示する。表示部２８は、撮像部２２によって生成された画像データに対応する画像を表示する。表示部２８は、液晶や有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

【0040】

制御部２９は、キャプチャー装置２を構成する各部の制御を統括的に制御する。制御部２９は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部２９は、ＣＰＵ（Central Processing Unit）、メモリおよびＧＰＵ（Graphics Processing Unit）等を用いて構成される。制御部２９は、撮影制御部２９１と、表示制御部２９２と、記録制御部２９３と、通信制御部２９４と、を有する。

【0041】

撮影制御部２９１は、撮像部２２の撮影を制御する。撮影制御部２９１は、操作部２５の操作に応じて、撮像部２２に撮影を実行させる。

【0042】

表示制御部２９２は、表示部２８の表示を制御する。例えば、表示制御部２９２は、表示部２８にキャプチャー装置２に関する各種情報を表示部２８に表示させる。

【0043】

記録制御部２９３は、少なくとも撮像部２２が生成した画像データおよび収音部２３が生成した音声データと、時計２４の計時結果と、操作部２５の操作履歴に関する履歴情報とを対応付けた画像ファイルを生成し、この画像ファイルを記録部２７に記録する。

【0044】

通信制御部２９４は、通信部２６の通信を制御する。通信制御部２９４は、通信部２６にキャプチャー装置２の各種情報、例えば撮像部２２によって生成された画像データを送信させる。

【0045】

〔携帯端末の構成〕
次に、携帯端末３の構成について説明する。図３は、携帯端末３の機能構成を示すブロック図である。図３に示す携帯端末３は、例えば撮影機能付きの携帯電話等である。図３に示す携帯端末３は、撮像部３１と、時計３２と、操作部３３と、通信部３４と、記録部３５と、表示部３６と、制御部３７と、を備える。

【0046】

撮像部３１は、制御部３７の制御のもと、画像データを生成し、この生成した画像データを制御部３７へ出力する。撮像部３１は、１または複数の光学系と、この光学系が結像した被写体像を受光することによって画像データを生成するＣＭＯＳやＣＣＤと、を用いて構成される。

【0047】

時計３２は、時間を計時し、この計時結果を制御部３７へ出力する。時計３２は、計時機能の他、撮像部３１によって生成された画像データの日時に関する日時情報を生成し、この日時情報を制御部３７へ出力する。時計３２は、クロックジェネレータ等を用いて構成される。

【0048】

操作部３３は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部３７へ出力する。操作部３３は、タッチパネル、スイッチおよびボタン等を用いて構成される。

【0049】

通信部３４は、制御部３７の制御のもと、所定の通信規格に従って、ネットワーク１００を経由して入力された各種情報を制御部３７へ出力するとともに、制御部３７から入力された各種情報を外部へ送信する。通信部３４は、通信モジュール等を用いて構成される。

【0050】

記録部３５は、携帯端末３に関する各種情報を記録する。記録部３５は、揮発性メモリや不揮発性メモリおよびメモリカード等の記録媒体を用いて構成される。記録部３５は、画像データを含む画像ファイルを記録する画像ファイル記録部３５１と、第１の画像データおよび第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像データを含む補助データを記録する補助データ記録部３５２と、携帯端末３が実行する各種のプログラムおよび処理中に使用する各種データを記録するプログラム記録部３５３と、を有する。

【0051】

表示部３６は、制御部３７の制御のもと、携帯端末３に関する各種情報や画像データに対応する画像を表示する。表示部３６は、液晶や有機ＥＬ（Electro Luminescence）等の表示パネルを用いて構成される。

【0052】

制御部３７は、携帯端末３を構成する各部の動作を統括的に制御する。制御部３７は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部３７は、メモリ、ＣＰＵおよびＧＰＵ等を用いて構成される。制御部３７は、検出部３７１と、算出部３７２と、画像処理部３７３と、合成部３７４と、撮影制御部３７５と、表示制御部３７６と、記録制御部３７７と、通信制御部３７８と、を有する。

【0053】

検出部３７１は、撮像部３１から入力された画像データに対応する画像に写る紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報の位置に関する位置情報を検出する。こうした手書き情報は、直感的、迅速かつ簡便で、書き込みや修正がしやすく、無視できない利点がある。この手書き文字は、勢いをもって書くことによって、あるいは丁寧に書くことによって、それぞれ異なったメッセージ性を持つことになり、この筆跡、字体をそのまま撮影することによって、そこに込められたメッセージを保ったまま、伝えることが可能ともなる。実験メモなどでは、その時の緊迫感や空気感などが文字に現れることがある。

【0054】

算出部３７２は、紙媒体上に第１の画像であるキャプチャー装置２の画像を貼付するための貼付領域を算出する。例えば、算出部３７２は、撮像部３１から順次入力された画像データに対応するライブビュー画像に写る紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報に基づいて、貼付領域を算出する。こうした文字や図形、領域などの手書き情報は、即座に全体のレイアウトを指示したりする際にも直感的、迅速かつ簡便で、書き込みや修正がしやすく、無視できない利点がある。

【0055】

撮影制御部３７５は、撮像部３１の撮影を制御する。撮影制御部３７５は、操作部３３の操作に応じて、撮像部３１に撮影を実行させる。

【0056】

表示制御部３７６は、表示部３６の表示を制御する。例えば、表示制御部３７６は、表示部３６に携帯端末３に関する各種情報を表示部３６に表示させる。

【0057】

記録制御部３７７は、キャプチャー装置２から受信した第１の画像である画像データと、撮像部３１によって生成された第１の画像を紙媒体上において表示するための処理情報を含む第２の画像と、第１の画像データに対応する第１の画像を紙媒体上において貼付するための貼付情報を含む画像ファイルを生成して、この画像ファイルを記録部３５に記録する。ここで、貼付情報は、テキスト情報、第１の画像を紙媒体上に貼付するための位置を示す位置情報および大きさを示す大きさ情報（貼付領域）を含む。

【0058】

通信制御部３７８は、通信部３４の通信を制御する。通信制御部３７８は、通信部３４に画像ファイルを含む各種情報を送信させる。

【0059】

〔画像処理装置の構成〕
次に、サーバ４の構成について説明する。図４は、サーバ４の機能構成を示すブロック図である。図４に示すサーバ４は、ネットワーク１００を経由して画像データを受信し、この画像データに対応する画像やデータを出力する装置である。図４に示すサーバ４は、通信部４１と、出力部４２と、記録部４３と、制御部４４と、を備える。

【0060】

通信部４１は、制御部４４の制御のもと、所定の通信規格に従って、ネットワーク１００を経由して入力された各種情報を制御部４４へ出力するとともに、制御部４４から入力された各種情報を外部へ出力する。通信部４１は、通信モジュール等を用いて構成される。

【0061】

出力部４２は、制御部４４の制御のもと、画像データに対応する画像を出力する。例えば、出力部４２は、制御部４４の制御のもと、画像データに対応する画像を紙等の媒体に印刷して出力する。出力部４２は、例えばプリンタ等を用いて構成される。

【0062】

記録部４３は、サーバ４に関する各種情報を記録する。記録部４３は、揮発性メモリ、不揮発性メモリ、ＨＤＤおよびＳＳＤ等を用いて構成される。記録部４３は、サーバ４が実行する各種プログラムや処理中に使用するデータを記録するプログラム記録部４３１を有する。

【0063】

制御部４４は、サーバ４を構成する各部の動作を統括的に制御する。制御部４４は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部４４は、メモリ、ＣＰＵおよびＧＰＵ等を用いて構成される。制御部４４は、合成部４４１と、出力制御部４４２と、通信制御部４４３と、を有する。

【0064】

合成部４４１と、キャプチャー装置２から受信した第１の画像である画像データと、撮像部３１によって生成された第１の画像を紙媒体上において表示するための処理情報を含む第２の画像と、第１の画像データに対応する第１の画像を紙媒体上において貼付するための貼付情報と、を合成した合成データを生成する。

【0065】

出力制御部４４２と、出力部４２の出力を制御する。出力制御部４４２は、出力部４２に画像データに対応する画像を紙媒体上に印刷する。

【0066】

通信制御部４４３と、通信部４１の通信を制御する。通信制御部４４３は、通信部４１に画像ファイルを含む各種情報を送信させる。

【0067】

〔画像処理システムの処理の概要〕
次に、画像処理システム１が実行する処理の概要について説明する。図５は、ユーザがキャプチャー装置２を用いて検体を観察している状況下を示す図である。図６は、キャプチャー装置２が撮像した画像の一例を示す図である。図７は、ユーザが作成したノートの一例である。図８は、ユーザが携帯端末３を用いてノートを撮影した際の状況下を示す図である。図９は、サーバ４が生成する画像の一例を模式的に示す図である。

【0068】

図５に示すように、ユーザＵ１は、キャプチャー装置２を用いて検体の観察を行いながら、ノートＮ１００（例えばラボノート）の作成を行っている。この状況下において、ユーザＵ１は、図６に示す画像Ｐ１をノートＮ１００の所望の貼付領域へ貼付したい。しかしながら、ユーザＵ１は、ノートＮ１００の作成途中であり、画像Ｐ１を出力して貼付することが難しいうえ、先に画像Ｐ１を印刷した場合であっても、ノートＮ１００の作成終了後に、印刷した画像Ｐ１を貼付しようと思っても、画像Ｐ１と貼付領域とが関連付けられていないため、画像Ｐ１の貼付位置を把握することができないときがある。さらに、ユーザＵ１は、ノートＮ１００の枚数および貼付する画像の数が増加すればするほど、画像と貼付位置との関連性を把握することが難しくなることで、間違った画像を貼付してしまう。

【0069】

このため、図８に示すように、ユーザＵ１は、ノートＮ１００における所定の貼付領域Ｄ１に画像Ｐ１を貼付する四角の枠Ｗ１と、この枠Ｗ１内に文字（例えば「ここにはるＡ」）の書き込み（手書き入力）を行う。そして、図８に示すように、ユーザＵ１は、携帯端末３を用いてノートＮ１００を撮影する。具体的には、ユーザＵ１は、携帯端末３を用いて画像Ｐ１を紙媒体であるノートＮ１００上において表示するための処理情報を含む画像Ｐ２を撮像して画像ファイルを生成する。この場合、図９に示すように、携帯端末３は、画像Ｐ１を紙媒体であるノートＮ１００上において表示するための処理情報を含む画像Ｐ２を撮像する。ここで、処理情報には、ノートＮ１００における貼付領域Ｄ１に貼付するための貼付情報が含まれる。貼付情報には、テキスト情報、第１の画像である画像Ｐ１をノートＮ１００上に貼付するための位置を示す位置情報および大きさ情報が含まれる。具体的には、図１０に示すように、携帯端末３の記録制御部３７７は、ファイル名Ｔ１、第１の画像データと、第２の画像データとを合成した合成データを記録する画像データＴ２、テキスト情報Ｔ３、処理情報である貼付情報の位置情報および大きさ情報Ｔ４、機種名や撮影時刻等のその他のメタ－データＴ５を含む画像ファイルＦ１を生成する。この場合、携帯端末３は、検出部３７１が撮像部３１によって生成された画像データに対応する画像に対して周知のパターンマッチング等を用いて、図形や閉領域を検出することによって貼付するための位置情報を検出し、算出部３７２が貼付領域Ｄ１の大きさを算出する。そして、携帯端末３は、画像処理部３７３が貼付領域Ｄ１に基づいて、画像Ｐ１の表示領域をリサイズする画像処理を行い、合成部３７４が画像Ｐ１と画像Ｐ２とを合成することによって合成データに対応する画像Ｐ３を生成し、記録制御部３７７が画像Ｐ３に対応する画像データを画像ファイルＦ１に格納する。

【0070】

携帯端末３は、第１の画像である画像Ｐ１と、画像Ｐ１を紙媒体であるノートＮ１００上において表示するための処理情報を含む第２の画像Ｐ２と、を関連付けた画像Ｐ３を格納する画像ファイルをサーバ４へ送信する。サーバ４は、携帯端末３から受信した画像ファイルに格納された画像Ｐ３を図示しないプリンタに出力することによって印刷を行う。これにより、ユーザＵ１は、ノートＮ１００の作成を終了した後に、画像Ｐ１をノートＮ１００に貼付する場合であっても、画像Ｐ１と画像Ｐ２との関連付けていることで、画像Ｐ３の貼付領域Ｄ１に文字が記載されているため、容易に貼付場所を把握することができる。なお、図７～図９では、携帯端末３が貼付領域Ｄ１に基づいて、画像Ｐ１の表示領域をリサイズする画像処理を行って画像Ｐ１と画像Ｐ２とを合成することによって合成データに対応する画像Ｐ３を生成しているが、サーバ４が貼付領域Ｄ１に基づいて、画像Ｐ１の表示領域をリサイズする画像処理を行って画像Ｐ１と画像Ｐ２とを合成することによって合成データに対応する画像Ｐ３を生成してもよい。

【0071】

〔キャプチャー装置と携帯端末との連携処理の概要〕
図１１Ａ～図１１Ｆは、キャプチャー装置２と携帯端末３との連携処理時における画面遷移とキャプチャー装置２との関係を模式的に示す図である。

【0072】

図１１Ａに示すように、まず、携帯端末３は、ユーザＵ１によって表示部３６が表示する複数のアイコンＡ１～アイコンＡ５の中からキャプチャー装置２と連結するアイコンＡ２が選択された場合、図１１Ｂに示すように、携帯端末３は、アイコンＡ１１～アイコンＡ１４を表示部３６に表示する。アイコンＡ１は、携帯端末３の設定等を変更可能なその他の動作を行うその他モードを指示する指示信号の入力を受け付ける。アイコンＡ２は、キャプチャー装置２から画像データ等を受信して連携する顕微鏡モードを指示する指示信号の入力を受け付ける。アイコンＡ３は、キャプチャー装置２から動画データを受信して連携する動画モードを指示する指示信号の入力を受け付ける。アイコンＡ４は、他の機器に向けてメールを送信する送信モードを指示する指示信号の入力を受け付ける。アイコンＡ５は、他の機器に向けて通話する電話モードを指示する指示信号の入力を受け付ける。また、アイコンＡ１１は、顕微鏡であるキャプチャー装置２に撮像させて画像データを要求する指示信号の入力を受け付ける。アイコンＡ１２は、ユーザＵ１が書き込んだ文字または打ち込んだメモを画像に関連付けるモードに遷移するための指示信号の入力を受け付ける。アイコンＡ１３は、前の表示へ遷移する指示信号の入力を受け付ける。

【0073】

図１１Ｂに示す状況下において、携帯端末３は、ユーザＵ１によって表示部３６が表示するアイコンＡ１１～アイコンＡ１３の中からアイコンＡ１１が選択された場合、キャプチャー装置２によって生成された画像データに対応する画像Ｐ１を取得する。

【0074】

続いて、図１１Ｃに示す状況下において、携帯端末３は、ユーザＵ１によって表示部３６が表示するアイコンＡ１１～Ａ１３の中からアイコンＡ１２が選択された場合、図１１Ｄに示すように、携帯端末３は、画像Ｐ１、アイコンＡ２１、アイコンＡ２２およびアイコンＡ１３を表示部３６に表示する。アイコンＡ２１は、画像Ｐ１に対して、ユーザＵ１が文字を書き込んだ紙媒体を撮影するモードに遷移する指示信号の入力を受け付ける。アイコンＡ２２は、携帯端末３のＵＩを用いてテキストを打ち込むモードに遷移する指示信号の入力を受け付ける。

【0075】

その後、携帯端末３は、ユーザＵ１によってアイコンＡ２１が選択された場合、撮像部３１にユーザＵ１が文字を書き込んだ紙媒体を撮像して生成した画像データに対応する画像Ｐ２を表示部３６にライブビュー表示させる（図１１Ｅを参照）。そして、携帯端末３は、ユーザＵ１によって操作部３３が操作され撮影された場合、画像Ｐ１と画像Ｐ２とを関連付けた画像ファイルを生成するとともに、画像Ｐ１と画像Ｐ２とを表示部３６に表示する（図１１Ｆを参照）。

【0076】

〔キャプチャー装置の処理〕
次に、キャプチャー装置２が実行する処理について説明する。図１２は、キャプチャー装置２が実行する処理の概要を示すフローチャートである。

【0077】

図１２に示すように、まず、キャプチャー装置２が観察モードに設定されている場合（ステップＳ１：Ｙｅｓ）について説明する。この場合、キャプチャー装置２は、検体を観察する観察モード処理を実行する（ステップＳ２）。なお、観察モードの処理は、後述する。

【0078】

続いて、操作部２５から終了を指示する指示信号が入力された場合（ステップＳ３：Ｙｅｓ）、キャプチャー装置２は、本処理を終了する。これに対して、操作部２５から終了を指示する指示信号が入力されていない場合（ステップＳ３：Ｎｏ）、キャプチャー装置２は、ステップＳ１へ戻る。

【0079】

ステップＳ１において、キャプチャー装置２が観察モードに設定されていない場合（ステップＳ１：Ｎｏ）、キャプチャー装置２は、ステップＳ４へ移行する。

【0080】

続いて、キャプチャー装置２が通信設定モードに設定されている場合（ステップＳ４：Ｙｅｓ）、キャプチャー装置２は、携帯端末３またはサーバ４と通信を行うための各種設定を行う通信設定を行う（ステップＳ５）。ステップＳ５の後、キャプチャー装置２は、ステップＳ３へ移行する。

【0081】

ステップＳ４において、キャプチャー装置２が通信設定モードに設定されていない場合（ステップＳ４：Ｎｏ）、キャプチャー装置２は、ステップＳ３へ移行する。

【0082】

〔観察モード処理〕
次に、図１２のステップＳ２で説明した観察モード処理の詳細について説明する。図１３は、観察モード処理の概要を示すフローチャートである。

【0083】

図１３に示すように、まず、制御部２９は、撮像部２２に撮像を実行させて画像データを生成させる（ステップＳ１０）。

【0084】

続いて、キャプチャー装置２が携帯端末３と通信が設定されている場合（ステップＳ１１：Ｙｅｓ）、通信制御部２９４は、通信部２６に撮像部２２が生成した画像データを携帯端末３へ送信させる（ステップＳ１２）。ステップＳ１２の後、キャプチャー装置２は、ステップＳ１３へ移行する。これに対して、キャプチャー装置２が携帯端末３と通信が設定されていない場合（ステップＳ１１：Ｎｏ）、キャプチャー装置２は、ステップＳ１３へ移行する。

【0085】

続いて、操作部２５に対して操作があった場合（ステップＳ１３：Ｙｅｓ）、撮影制御部２９１は、操作部２５の操作に基づいて、撮像部２２のパラメータを制御する（ステップＳ１４）。ステップＳ１４の後、キャプチャー装置２は、ステップＳ１５へ移行する。これに対して、操作部２５に対して操作がなかった場合（ステップＳ１３：Ｎｏ）、キャプチャー装置２は、ステップＳ１５へ移行する。

【0086】

その後、操作部２５から記録を指示する指示信号が入力された場合（ステップＳ１５：Ｙｅｓ）、撮影制御部２９１は、撮像部２２に撮影を実行させて画像データを生成させる（ステップＳ１６）。

【0087】

続いて、記録制御部２９３は、撮像部２２によって生成された画像データおよび現在の撮像部２２のパラメータを含む操作履歴を画像ファイル記録部２７１に記録する（ステップＳ１７）。

【0088】

その後、キャプチャー装置２が携帯端末３への画像ファイルの送信が設定されている場合（ステップＳ１８：Ｙｅｓ）、通信制御部２９４は、通信部２６に画像ファイルを携帯端末３へ送信させる（ステップＳ１９）。ステップＳ１９の後、キャプチャー装置２は、図１２のメインルーチンへ戻る。

【0089】

ステップＳ１５において、操作部２５から記録を指示する指示信号が入力されていない場合（ステップＳ１５：Ｎｏ）、キャプチャー装置２は、図１２のメインルーチンへ戻る。

【0090】

ステップＳ１８において、キャプチャー装置２が携帯端末３への画像ファイルの送信が設定されていない場合（ステップＳ１８：Ｎｏ）、キャプチャー装置２は、図１２のメインルーチンへ戻る。

【0091】

〔携帯端末の処理〕
次に、携帯端末３が実行する処理について説明する。図１４は、携帯端末３が実行する処理の概要を示すフローチャートである。

【0092】

図１２に示すように、まず、表示制御部３７６は、携帯端末３が実行可能な複数のモードの各々に関するアイコンを表示部３６に表示させる（ステップＳ２１）。具体的には、表示制御部３７６は、上述した図１１Ａで説明したアイコンＡ１～Ａ５を表示部３６に表示させる。

【0093】

続いて、操作部３３を用いてアイコンＡ３が操作され、顕微鏡モードが選択された場合（ステップＳ２２：Ｙｅｓ）、携帯端末３は、キャプチャー装置２と連結する顕微鏡モード処理を実行する（ステップＳ２３）。なお、顕微鏡モード処理の詳細は、後述する。ステップＳ２３の後、携帯端末３は、ステップＳ２４へ移行する。

【0094】

その後、操作部３３から終了を指示する指示信号が入力された場合（ステップＳ２４：Ｙｅｓ）、携帯端末３は、本処理を終了する。これに対して、操作部３３から終了を指示する指示信号が入力されていない場合（ステップＳ２４：Ｎｏ）、携帯端末３は、上述したステップＳ２１へ戻る。

【0095】

ステップＳ２２において、操作部３３を用いてアイコンＡ３が操作されず、顕微鏡モードが選択されていない場合（ステップＳ２２：Ｎｏ）、携帯端末３は、ステップＳ２５へ移行する。

【0096】

続いて、操作部３３が操作され、携帯端末３がキャプチャー装置２との通信の設定を行う通信設定モードが設定された場合（ステップＳ２５：Ｙｅｓ）、携帯端末３は、キャプチャー装置２と通信を行うための通信設定を行う（ステップＳ２６）。

【0097】

その後、携帯端末３は、キャプチャー装置２から画像を受信する（ステップＳ２７）。ステップＳ２７の後、携帯端末３は、ステップＳ２４へ移行する。

【0098】

ステップＳ２５において、操作部３３が操作されず、携帯端末３がキャプチャー装置２との通信の設定を行う通信設定モードが設定されていない場合（ステップＳ２５：Ｎｏ）、携帯端末３は、ステップＳ２４へ移行する。

【0099】

〔顕微鏡モード処理〕
次に、図１４のステップＳ２３において説明した顕微鏡モード処理の詳細について説明する。図１５は、顕微鏡モード処理の概要を示すフローチャートである。

【0100】

図１５に示すように、キャプチャー装置２から画像を受信した場合（ステップＳ３１：Ｙｅｓ）、表示制御部３７６は、キャプチャー装置２から受信した画像を表示部３６に表示させる（ステップＳ３２）。

【0101】

続いて、操作部３３が操作され、キャプチャー装置２から画像を取得する場合（ステップＳ３３：Ｙｅｓ）、携帯端末３は、後述するステップＳ３４へ移行する。これに対して、操作部３３が操作されず、キャプチャー装置２から画像を取得しない場合（ステップＳ３３：Ｎｏ）、携帯端末３は、後述するステップＳ３６へ移行する。

【0102】

ステップＳ３４において、ＡＲ表示を行う場合（ステップＳ３４：Ｙｅｓ）、携帯端末３は、ＡＲ表示処理を行う（ステップＳ３５）。ステップＳ３５の後、携帯端末３は、ステップＳ３６へ移行する。

【0103】

〔ＡＲ表示処理〕
図１６は、図１５のステップＳ３５におけるＡＲ表示処理の概要を示すフローチャートである。

【0104】

図１６に示すように、撮影制御部３７５は、撮像部３１に撮像を実行させる（ステップＳ５１）。

【0105】

続いて、算出部３７２は、撮像部３１が生成した画像データに対応する画像からキャプチャー装置２から取得した第１の画像を重畳する貼付領域を算出する（ステップＳ５２）。具体的には、算出部３７２は、図１７に示すように、撮像部３１の光学系３１１の中心Ｌ１から撮像素子３１２の受光面までの焦点距離をＦ、撮像素子３１２の受光面で結像される文字Ｍ１の大きさをＳｙ、光学系３１１の中心Ｌ１からノートＮ１００までの距離をＤ、ノートＮ１００上における文字Ｍ１の大きさをＰｙとした場合、以下の式（１）が成り立つ。
Ｐｙ＝（Ｓｙ・Ｄ）／Ｆ ・・・（１）
ここで、焦点距離Ｆ、撮像素子３１２の大きさＳｙおよび距離Ｄは、既知のため、算出部３７２は、上記の式（１）を用いてノートＮ１００上における文字Ｍ１の大きさＰｙ、即ち、貼付領域を算出することができる。なお、算出部３７２は、撮像素子３１２上における文字Ｍ１の画素数から大きさＳｙを算出してもよい。さらに、算出部３７２は、撮像素子３１２に配置された複数の位相差センサ（位相差画素）からの検出結果に基づいて、距離Ｄを算出してもよい。さらにまた、算出部３７２は、光学系３１１に設けられた位置センサに基づいて、焦点距離Ｆを算出してもよい。また、図１８も同様に図形であっても、算出部３７２は、同様に貼付領域を算出することができる。

【0106】

その後、画像処理部３７３は、貼付領域に基づいて、貼付する第１の画像の画像サイズを調整するリサイズ処理を行う（ステップＳ５３）。

【0107】

続いて、表示制御部３７６は、画像処理部３７３がリサイズ処理を行った画像データに対応する第１の画像を重畳して表示する（ステップＳ５４）。ステップＳ５４の後、携帯端末３は、図１４のサブルーチンへ戻る。

【0108】

図１５に戻り、ステップＳ３６以降の説明を続ける。
ステップＳ３６において、携帯端末３のモードがテキストメモを作成するテキストメモである場合（ステップＳ３６：Ｙｅｓ）、画像処理部３７３は、操作部３３の操作に応じて、テキストメモを作成する（ステップＳ３７）。

【0109】

続いて、記録制御部３７７は、画像処理部３７３が操作部３３の操作に応じて作成したテキストメモと画像データとを格納した画像ファイルを生成する（ステップＳ３８）。ステップＳ３８の後、携帯端末３は、後述するステップＳ４２へ移行する。

【0110】

ステップＳ３６において、携帯端末３のモードがテキストメモを作成するテキストメモである場合（ステップＳ３６：Ｎｏ）、携帯端末３は、ステップＳ３９へ移行する。

【0111】

続いて、携帯端末３のモードがメモ撮影である（ステップＳ３９：Ｙｅｓ）、携帯端末３は、後述するステップＳ４０へ移行する。これに対して、携帯端末３のモードがメモ撮影でない場合（ステップＳ３９：Ｎｏ）、携帯端末３は、後述するステップＳ４２へ移行する。

【0112】

ステップＳ４０において、撮影制御部３７５は、撮像部３１に撮影を実行させる。この場合、算出部３７２は、第１の画像データである画像Ｐ１を紙媒体上において表示するための処理情報を、撮像部３１によって生成された画像データに対応する画像から解析する。具体的には、算出部３７２は、上述した図１６と同様の処理を行い、撮像部３１が生成した画像データに対応する画像からキャプチャー装置２から取得した第１の画像を重畳する貼付領域を算出する。さらに、検出部３７１は、紙媒体上（例えばノートＮ１００上）における貼付領域の位置に関する位置情報を検出する。

【0113】

続いて、記録制御部３７７は、算出部３７２が算出した貼付領域の大きさに関する大きさ情報、検出部３７１が検出した貼付領域の位置に関する位置情報と、テキスト情報と、を含む貼付情報をメタデータとして画像ファイルに格納する（ステップＳ４１）。ステップＳ４１の後、携帯端末３は、ステップＳ４２へ移行する。

【0114】

その後、操作部３３から内容を決定する指示信号が入力された場合（ステップＳ４２：Ｙｅｓ）、記録制御部３７７は、取得ファイルとメモ情報とを関係付けた画像ファイルを記録部３５に記録する（ステップＳ４３）。例えば、記録制御部３７７は、上述したステップＳ３７またはステップＳ４１で生成したテキスト情報またはメタデータと、キャプチャー装置２から取得した第１の画像とを関連付けた画像ファイル（図１０を参照）を記録部３５の補助データ記録部３５２に記録する。

【0115】

続いて、操作部３３から取得ファイルとメモ情報とを関係付けた画像ファイルをサーバ４へ送信する指示信号が入力された場合（ステップＳ４４：Ｙｅｓ）、通信制御部３７８は、サーバ４へ向けて取得ファイルとメモ情報とを関連付けた画像ファイルを通信部３４に送信させる（ステップＳ４５）。

【0116】

その後、操作部３３から終了を指示する指示信号が入力された場合（ステップＳ４６：Ｙｅｓ）、携帯端末３は、本処理を終了する。これに対して、操作部３３から終了を指示する指示信号が入力されていない場合（ステップＳ４６：Ｎｏ）、携帯端末３は、上述したステップＳ３３へ戻る。

【0117】

ステップＳ４２において、操作部３３から内容を決定する指示信号が入力されていない場合（ステップＳ４２：Ｎｏ）、携帯端末３は、ステップＳ４６へ移行する。

【0118】

ステップＳ４４において、操作部３３から取得ファイルとメモ情報とを関係付けた画像ファイルをサーバ４へ送信する指示信号が入力されていない場合（ステップＳ４４：Ｎｏ）、携帯端末３は、ステップＳ４６へ移行する。

【0119】

〔サーバの処理〕
次に、サーバ４が実行する処理について説明する。図１９は、サーバ４が実行する処理の概要を示すフローチャートである。

【0120】

図１９に示すように、サーバ４は、携帯端末３から画像ファイルを受信した場合（ステップＳ６１：Ｙｅｓ）、サーバ４は、図示しないプリンタに画像ファイルＦ１に格納された画像Ｐ３をプリントさせる（ステップＳ６２）。ステップＳ６２の後、サーバ４は、本処理を終了する。これに対して、携帯端末３から画像ファイルを受信していない場合（ステップＳ６１：Ｎｏ）、サーバ４は、本処理を終了する。

【0121】

以上説明した実施の形態１によれば、携帯端末３が第１の画像データを紙媒体上において表示するための処理情報を含む第２の画像を撮像するので、画像の確認時に画像との関連性を把握することができる。

【0122】

また、実施の形態１によれば、記録制御部３７７が第１の画像と第２の画像と、処理情報と、を含む画像ファイルを生成して記録部３５に記録するので、印刷時に画像の確認時に画像との関連性を把握することができる。

【0123】

また、実施の形態１によれば、表示制御部３７６が画像処理部３７３によってリサイズされた第１の画像をライブビュー画像における筆記情報である貼付領域に重畳して表示部３６に表示させるので、ユーザＵ１が第１の画像を紙媒体上で貼付する際にイメージを直感的に把握することができる。

【0124】

また、実施の形態１によれば、合成部４４１が画像ファイルに格納された処理情報に基づいて、第１の画像に第２の画像を合成することによって合成データを生成し、この合成データを出力部４２に出力するので、画像の確認時に画像との関連性を把握することができる。

【0125】

（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、キャプチャー装置２として顕微鏡を用いていたが、実施の形態２では、キャプチャー装置として撮像装置を用いる。実施の形態２では、キーボードやタッチパネルやマウス、あるいは音声入力など、専用の入力用デバイスを使ってユーザが情報入力できる環境が整ってきているが、ペンや鉛筆の筆記用具を使っての手書きによる入力や修正の簡便性や情緒性の魅力もまた存在しており、本実施形態のようにユーザの個性を反映する筆跡を生かしてメモするような状況などは、心がこめやすく、手書きが重視されるシーンである。活字やテキストになると失われる、感情や個性が反映された形状や勢いの情報を失わせたくない手書きならではの情報量が求められる状況下でも、手書きとデジタル情報のマッチング技術の改善が求められていた。

【0126】

〔画像処理システムの概要〕
図２０は、実施の形態２に係る画像処理システムの概要を示す模式図である。図２０に示す画像処理システム１Ａは、被写体を撮像することができるキャプチャー装置２Ａと、携帯端末３と、サーバ４と、キャプチャー装置２Ａおよび携帯端末３と通信することができる画像処理装置５と、を備える。キャプチャー装置２Ａは、デジタルカメラ等の撮像装置、タブレット型端末装置、カムコーダおよび撮影機能付きＩＣレコーダ等の装置であり、上述した実施の形態１に係るキャプチャー装置２と同様の機能を有するため、詳細な構成の説明を省略する。

【0127】

〔画像処理装置の構成〕
図２１は、画像処理装置５の機能構成を示すブロック図である。図２１に示す画像処理装置５は、通信部５１と、操作部５２と、出力部５３と、表示部５４と、記録部５５と、制御部５６と、を備える。

【0128】

通信部５１は、制御部５６の制御のもと、所定の通信規格に従って、ネットワーク１００を経由して入力された各種情報を送信するとともに、各種情報を外部へ出力する。通信部５１は、通信モジュール等を用いて構成される。

【0129】

操作部５２は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部５６へ出力する。操作部５２は、キーボード、マウス、タッチパネル、スイッチ、ボタン、ジョグダイヤルおよび回転レバー等を用いて構成される。

【0130】

出力部５３は、制御部５６の制御のもと、画像データに対応する画像を出力する。例えば、出力部５３は、制御部５６の制御のもと、画像データに対応する画像を紙等の媒体に印刷して出力する。出力部５３は、例えばプリンタ等を用いて構成される。

【0131】

表示部５４は、制御部５６の制御のもと、画像処理装置５に関する各種情報や画像データに対応する画像を表示する。表示部５４は、液晶や有機ＥＬ等の表示パネルを用いて構成される。

【0132】

記録部５５は、画像処理装置５に関する各種情報を記録する。記録部５５は、揮発性メモリ、不揮発性メモリ、ＨＤＤおよびＳＳＤ等を用いて構成される。記録部５５は、画像処理装置５が実行する各種プログラムや処理中に使用するデータを記録するプログラム記録部５５１を有する。

【0133】

制御部５６は、画像処理装置５を構成する各部の動作を統括的に制御する。制御部５６は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部５６は、メモリ、ＣＰＵおよびＧＰＵ等を用いて構成される。制御部５６は、合成部５６１と、出力制御部５６２と、通信制御部５６３と、を有する。

【0134】

合成部５６１と、携帯端末３によって生成されたキャプチャー装置２Ａによって生成された第１の画像と、第１の画像を紙媒体上において表示するための処理情報を有する第２の画像と、を含む画像ファイルに格納された処理情報に基づいて、第１の画像に第２の画像を合成することによって合成データを生成する。

【0135】

出力制御部５６２は、出力部５３を制御する。出力制御部５６２は、出力部５３に画像データに対応する画像を紙媒体上に印刷する。

【0136】

通信制御部５６３は、通信部５１の通信を制御する。通信制御部５６３は、通信部５１に画像ファイルを含む各種情報を送信させる。

【0137】

〔画像処理システムの処理の概要〕
次に、画像処理システム１Ａが実行する処理の概要について説明する。図２２は、ユーザがキャプチャー装置２Ａで撮影した画像にメモを添えて印刷または送付する際の状況下を示す図である。ここでは、手書きのメモにすることによって、感情や個性が反映された形状や勢いの情報を失わせたくない手書きならではの情報量を想定して、テキスト入力とは異なる情緒的価値を求めてユーザはメモをしている。こうした手書き情報は、直感的、迅速かつ簡便で、書き込みや修正がしやすく、デジタル処理を中心にしたシステムにおいても無視できない利点がある。

【0138】

図２３は、キャプチャー装置２Ａから画像処理装置５へ送信した画像の一例を模式的に示す図である。図２４は、ユーザが作成したメモを携帯端末３で撮影している状況下を示す図である。図２５は、携帯端末３でメモを撮像した画像の一例を模式的に示す図である。図２６は、画像処理装置５によって印刷または送信される画像の一例ユーザを模式的に示す図である。

【0139】

図２２および図２３に示すように、ユーザＵ１は、キャプチャー装置２Ａで撮影した画像を画像処理装置５へ送信する。この場合、ユーザＵ１は、画像Ｐ１１に直筆のメッセージを添えて印刷または送信したい。このため、ユーザＵ１は、図２１に示すノートＮ１０１に例えば直筆で「お元気ですか？」と書き込みを行う。この手書き文字は、勢いをもって書くことによって、あるいは丁寧に書くことによって、それぞれ異なったメッセージ性を持つことになり、この筆跡、字体をそのまま撮影することによって、そこに込められたメッセージを保ったまま、伝えることが可能となる。

【0140】

続いて、図２４に示すように、ユーザＵ１は、携帯端末３を用いてノートＮ１０１に書き込んだメッセージである文字情報を撮影する。この場合、図２５に示すように、携帯端末３は、メッセージが写る画像データに対応する画像Ｐ１２を生成する。

【0141】

その後、携帯端末３は、画像Ｐ１２を画像処理装置５へ送信する。この場合、画像処理装置５は、図２６に示すように、キャプチャー装置２Ａから送信された画像Ｐ１１と、携帯端末３から送信された画像Ｐ１２と、を関連付けた画像データに対応する画像Ｐ１３を生成し、この画像Ｐ１３と処理情報とを含む画像ファイルを印刷またはネットワーク１００およびサーバ４を経由してユーザＵ１によって指定された所定のアドレスの機器に向けて送信する。なお、図２２～図２６では、画像処理装置５を用いて画像Ｐ１３の生成を行っているが、これに限定されることなく、例えばキャプチャー装置２Ａおよび携帯端末３との連携によって画像Ｐ１３を生成し、この画像Ｐ１３と処理情報とを含む画像ファイルを画像処理装置５へ送信してもよい。この場合、画像処理装置５は、図２７に示す画像Ｐ１００を印刷することによって出力する。画像Ｐ１００は、表面側がキャプチャー装置２Ａで撮影した第１の画像Ｐ１と、裏面側に第２の画像Ｐ２であるメッセージが印刷される。即ち、処理情報は、第１の画像データのプリント時に合成される文字情報であり、裏面画像に印刷される情報を含む。また、図２８に示すように、画像処理装置５は、図２０に示す画像Ｐ２００を印刷してもよい。画像Ｐ２００は、同一の紙面上に第１の画像Ｐ２０１と、画像Ｐ２０２であるメッセージとが印刷される。このように、送信者であるユーザＵ１は、送付先に冗長なメッセージを含むオシャレな写真を送付することができる。

【0142】

〔キャプチャー装置と携帯端末との連携処理の概要〕
図２９Ａ～図２９Ｇは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置２Ａとの関係を模式的に示す図である。

【0143】

図２９Ａに示すように、まず、携帯端末３は、ユーザＵ１によって表示部３６が表示する複数のアイコンＡ１,アイコンＡ３～アイコンＡ５,アイコンＡ１００の中からキャプチャー装置２Ａから画像データを取得または要求するアイコンＡ１００が選択された場合、キャプチャー装置２Ａに画像データを要求する要求信号を送信する。

【0144】

続いて、図２９Ｂに示すように、キャプチャー装置２Ａは、携帯端末３からの要求信号に基づいて、画像データに対応する画像Ｐ１１を携帯端末３へ送信する。

【0145】

その後、図２９Ｃに示すように、携帯端末３は、ユーザＵ１によって表示部３６が表示する複数のアイコンＡ１００～Ａ１０２の中からアイコンＡ１０２が選択された場合、キャプチャー装置２Ａから受信した画像Ｐ１１を表示部３６に表示させるとともに、アイコンＡ２１、アイコンＡ２２およびアイコンＡ１３を表示部３６に表示させる（図２９Ｄ）。

【0146】

続いて、携帯端末３は、ユーザＵ１によってアイコンＡ２１が選択された場合、撮像部３１にノートＮ１０１に書き込まれたテキストを撮影した画像データに対応する画像Ｐ１２を表示部３６に表示させる（図２９Ｅ）。

【0147】

その後、携帯端末３は、画像Ｐ１０と画像Ｐ１１とを合成した合成データを生成し、合成データに対応する画像を表示部３６に表示させ（図２９Ｆ）、画像Ｐ１０と画像Ｐ１１とを合成した合成データを生成し、合成データに対応する画像と、アイコンＡ２０１、アイコンＡ２０２およびアイコンＡ１３を表示部３６に表示させる（図２９Ｇ）。アイコンＡ２０１は、指定したアドレスに向けて合成データを含む画像ファイルを送信する指示信号の入力を受け付ける。アイコンＳ２０２は、画像処理装置５に画像ファイルを送信することによって印刷を指示する指示信号の入力を受け付ける。

【0148】

〔キャプチャー装置の処理〕
次に、キャプチャー装置２Ａが実行する処理について説明する。図３０は、キャプチャー装置２Ａが実行する処理の概要を示すフローチャートである。図３０において、キャプチャー装置２Ａは、上述した図１２のステップＳ１～ステップＳ５に加えて、ステップＳ６およびステップＳ７をさらに実行する。このため、以下においては、ステップＳ６およびステップＳ７について説明する。

【0149】

ステップＳ６において、キャプチャー装置２Ａが再生モードに設定されている場合（ステップＳ６：Ｙｅｓ）、キャプチャー装置２Ａは、記録部２７に記録された画像データを再生する再生モード処理を実行する（ステップＳ７）。なお、再生モード処理の詳細は、後述する。ステップＳ７の後、キャプチャー装置２Ａは、ステップＳ３へ移行する。これに対して、キャプチャー装置２Ａが再生モードに設定されていない場合（ステップＳ６：Ｎｏ）、キャプチャー装置２Ａは、ステップＳ３へ移行する。

【0150】

〔再生モード処理〕
次に、図３０のステップＳ７で説明した再生モード処理について説明する。図３１は、キャプチャー装置２Ａが実行する再生モード処理の概要を示すフローチャートである。

【0151】

図３１に示すように、表示制御部２９２は、画像ファイル記録部２７１に記録された画像データに対応する画像を表示部２８に表示させる再生を行う（ステップＳ６１）。

【0152】

続いて、操作部２５から画像処理装置５へ送信する指示信号が入力された場合（ステップＳ６２：Ｙｅｓ）、通信制御部２９４は、操作部２５の操作に応じて指定された指定画像ファイルを画像処理装置５へ通信部２６に送信させる（ステップＳ６３）。

【0153】

その後、操作部２５から終了を指示する指示信号が入力された場合（ステップＳ６４：Ｙｅｓ）、キャプチャー装置２Ａは、図３０のメインルーチンへ戻る。これに対して、操作部２５から終了を指示する指示信号が入力されていない場合（ステップＳ６４：Ｎｏ）、キャプチャー装置２Ａは、ステップＳ６１へ戻る。

【0154】

ステップＳ６２において、操作部２５から終了を指示する指示信号が入力されていない場合（ステップＳ６４：Ｎｏ）、キャプチャー装置２Ａは、ステップＳ６４へ移行する。

【0155】

〔画像処理装置の処理〕
次に、画像処理装置５が実行する処理について説明する。図３２は、画像処理装置５が実行する処理の概要について説明する。

【0156】

図３２に示すように、まず、携帯端末３から接続があり（ステップＳ７１：Ｙｅｓ）、携帯端末３から画像ファイルを受信した場合（ステップＳ７２：Ｙｅｓ）において、携帯端末３または操作部５２から操作信号があったとき（ステップＳ７３：Ｙｅｓ）、制御部５６は、携帯端末３または操作部５２から入力された操作信号に基づいて、画像ファイルに格納された画像データに対応する画像の編集および画質を調整する（ステップＳ７４）。

【0157】

続いて、携帯端末３または操作部５２から特殊出力サービスによる印刷を指示する指示信号が入力された場合（ステップＳ７５：Ｙｅｓ）、画像処理装置５は、画像データに対応する画像を特殊プリントとして印刷して出力する特殊プリントを行う（ステップＳ７６）。具体的には、画像処理装置５は、上述した図２７の画像Ｐ１００や図２８の画像Ｐ２００を印刷して出力する。

【0158】

その後、携帯端末３または操作部５２から終了を指示する指示信号が入力された場合（ステップＳ７７：Ｙｅｓ）、画像処理装置５は、本処理を終了する。これに対して、携帯端末３または操作部５２から終了を指示する指示信号が入力されていない場合（ステップＳ７７：Ｎｏ）、画像処理装置５は、ステップＳ７１へ戻る。

【0159】

ステップＳ７１において、携帯端末３から接続がない場合（ステップＳ７１：Ｎｏ）および携帯端末３から画像ファイルを受信していない場合（ステップＳ７２：Ｎｏ）、画像処理装置５は、本処理を終了する。

【0160】

ステップＳ７３において、携帯端末３から操作信号がなかったとき（ステップＳ７３：Ｎｏ）、画像処理装置５は、ステップＳ７５へ移行する。

【0161】

ステップＳ７５において、携帯端末３から特殊出力サービスによる印刷を指示する指示信号が入力されていない場合（ステップＳ７５：Ｎｏ）、画像処理装置５は、画像データに対応する画像を印刷して出力するプリントを行う（ステップＳ７８）。ステップＳ７８の後、画像処理装置５は、ステップＳ７７へ移行する。

【0162】

以上説明した実施の形態２によれば、画像処理装置５が第１の画像に処理情報としての文字情報を関連付けた紙媒体に印刷して出力するので、画像の確認時に画像との関連性を把握することができる。人に手渡したり、昔ながらのエビデンス管理がしやすかったりする紙媒体に印刷する等の実施例で説明したが、本願の技術は、もちろん、液晶パネルや有機ELパネルや電子ペーパーなど電子パネルに表示する時の応用例も想定している。

【0163】

（その他の実施の形態）
上述した本開示の実施の形態１,２に係る画像処理システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る画像処理システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る画像処理システムで説明した構成要素を適宜組み合わせてもよい。

【0164】

また、本開示の一実施の形態１,２に係る画像処理システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【0165】

また、本開示の一実施の形態１,２に係る情報提供システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0166】

また、本開示の一実施の形態１,２に係る情報提供システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

【0167】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

【0168】

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0169】

１,１Ａ・・・画像処理システム；２,２Ａ・・・キャプチャー装置；３・・・携帯端末；４・・・サーバ；５・・・画像処理装置；２１,３１１・・・光学系；２２,３１・・・撮像部；２３・・・収音部；２４,３２・・・時計；２５,３３,５２・・・操作部；２６,３４,４１,５１・・・通信部；２７,３５,４３,５５・・・記録部；２８,３６,５４・・・表示部；２９,３７,４４,５６・・・制御部；４２,５３・・・出力部；１００・・・ネットワーク；２７１,３５１・・・画像ファイル記録部；２７２・・・音声ファイル記録部；２７３,３５２・・・補助データ記録部；２７４,３５３,４３１,５５１・・・プログラム記録部；２９１,３７５・・・撮影制御部；２９２,３７６・・・表示制御部；２９３,３７７・・・記録制御部；２９４,３７８,４４３,５６３・・・通信制御部；３１２・・・撮像素子；３７１・・・検出部；３７２・・・算出部；３７３・・・画像処理部；３７４,４４１,５６１・・・合成部；４４２,５６２・・・出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図11E】

【図11F】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29A】

【図29B】

【図29C】

【図29D】

【図29E】

【図29F】

【図29G】

【図30】

【図31】

【図32】