特開 2023-80117 情報処理装置、情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023080117

(43)【公開日】2023-06-08

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230601BHJP

   H04N 23/63 20230101ALI20230601BHJP

   H04N 1/387 20060101ALI20230601BHJP

【ＦＩ】

H04N23/60 500

H04N23/63

H04N1/387

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023045044

(22)【出願日】2023-03-22

(62)【分割の表示】P 2022004946の分割

【原出願日】2017-02-09

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】北村 晃一

(57)【要約】

【課題】 携帯端末において撮影された画像を適切に記憶するための仕組みを提供すること
【解決するための手段】 自機が縦向きの場合には、撮影により得られた被写体の画像を１枚の画像として記憶する第１のモードを設定し、自機が横向きの場合には、撮影により得られた被写体の画像を複数枚の画像に分割して記憶する第２のモードに設定し、第１のモードが設定されている状態で撮影されて得られた被写体の画像は１枚の画像として記憶し、第２のモードが設定されている状態で撮影されて得られた画像は複数枚の画像として記憶すべく制御する
【選択図】図６

【特許請求の範囲】

【請求項1】

撮影手段と、
１つの用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御手段と、
前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正をするとともに、複数の領域に分割して左側画像と右側画像とを生成するように処理する処理手段と、
前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する表示制御手段と
を有することを特徴とする情報処理装置。

【請求項2】

前記表示制御手段は、前記撮影制御手段による前記撮影の際に、ライブビュー画像を表示する領域の左右の区切りを示す表示物を表示するように制御することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

特定の条件を満たす場合には、前記処理手段は、前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正処理を行い、前記表示制御手段は、前記処理手段による処理によって生成された前記１つの画像を単一のページとして表示するように制御し、
前記特定の条件を満たさない場合には、前記処理手段は、前記左側画像と前記右側画像とを生成し、前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

特定の条件を満たす場合には、前記処理手段は、前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正処理を行い、前記表示制御手段は、前記処理手段による処理によって生成された前記１つの画像を単一のページとして取得するように制御し、
前記特定の条件を満たさない場合には、前記処理手段は、前記左側画像と前記右側画像とを生成し、前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして取得するように制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

特定の条件を満たす場合には、前記処理手段は、前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正処理を行い、前記表示制御手段は、前記処理手段による処理によって生成された前記１つの画像を単一のページとして出力するように制御し、
前記特定の条件を満たさない場合には、前記処理手段は、前記左側画像と前記右側画像とを生成し、前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして出力するように制御する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記撮影制御手段により取得された画面の向きを示す情報を取得する取得手段を更に有し、
前記特定の条件とは、前記取得手段で取得した画面の向きが縦長の画面であること
を特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記表示制御手段は、前記処理手段により複数の領域に分割して前記左側画像と前記右側画像とを生成した後は、前記特定の条件に関わらず、前記左側画像と前記右側画像とを互いに異なるページとして表示することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに間隔を空けて表示するように制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

撮影工程と、
１つの用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御工程と、
前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正をするとともに、複数の領域に分割して左側画像と右側画像とを生成するように処理する処理工程と、
前記処理工程による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する制御工程と
を含むことを特徴とする情報処理方法。

【請求項10】

コンピュータを、請求項１乃至８のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

製薬企業では、近年「薬の副作用」についての情報管理業務である製薬安全性情報管理業務（ＰＶ業務）が行われている。具体的には、製造販売後調査として製薬企業の医薬情報担当者（ＭＲ＝Ｍｅｄｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＝ＭＲ）が、当該製薬企業の提供している薬品の副作用や、当該薬品の使用によるものと疑われる感染症について調査する調査票を医師渡して記入してもらい、所定期間後に病院に出向いて回収する。

【0003】

そして、例えば病院近くのコンビニ等からＦＡＸで本社に当該調査票を送信し、本社から独立行政法人 医薬品医療機器総合機構（Ｐｄｍａ（登録商標））に対して当該データを送信・登録することでＰｄｍａへの薬の副作用・感染症報告を行っている。近くにＦＡＸできる端末がない場合は、一度営業所に戻って、営業所に設置されているＦＡＸ装置から調査票のデータを本社にＦＡＸ送信している。この調査・報告業務は、薬事法に従って行われる業務である。

【0004】

一部の企業では、このＦＡＸ装置を探す手間を省くため、調査票をスマートデバイスで撮影して、撮影した写真を本社のサーバに送信するシステムを採用している。例えば特許文献１では、建造物の被害状況の調査票の情報を入力し、携帯電話で撮影した画像と共に、調査票のデータベースを備えるホストコンピュータに送信する技術が公開されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１－１６７１３３号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

調査票のサイズは一般にＡ４サイズであり、複数ページにわたることがある。ページ数が多い場合には、調査票をＡ３見開きの冊子として綴じて医師に渡すことが行われている。ページごとの報告用に写真を残したい場合は、見開きの片側ページごとに撮影を行わなければならず手間であった。

【0007】

また、見開きページを撮影した１枚の画像を片側のページごとの画像となるように分割することが考えられるが、撮影時において撮影した画像が１枚のままなのか分割されたのかを確認するには、撮影済の画像の一覧を表示して画像を１枚１枚表示して確認しなければならず手間であった。

【0008】

本発明は、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、撮影手段と、１つの用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御手段と、前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正をするとともに、複数の領域に分割して左側画像と右側画像とを生成するように処理する処理手段と、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する表示制御手段とを有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、撮影に応じて得られる画像の数を容易に調整可能な仕組みを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施形態における、情報処理システムの構成の一例を示す図である。

【図2】本発明の第１の実施形態における、各種装置のハードウェア構成の一例を示す図である。

【図3】本発明の第１の実施形態における、各種装置の機能構成の一例を示す図である。

【図4】本発明の第１の実施形態における、情報処理装置の向きに応じたモード設定処理の流れを示すフローチャートである。

【図5】本発明の第１の実施形態における、モードに応じたガイド画像の表示処理の流れを示すフローチャートである。

【図6】本発明の第１の実施形態における、モードに応じた撮影画像の表示及び記憶処理の流れを示すフローチャートである。

【図7】本発明の第１の実施形態における、各種データ構成の一例を示す図である。

【図8】本発明の第１の実施形態における、撮影画面及びプレビュー表示画面の構成の一例を示す図である。

【図9】本発明の第１の実施形態における、撮影画面及びプレビュー表示画面の構成の一例を示す図である。

【図10】本発明の第１の実施形態における、画像一覧画面及び送信画面の構成の一例を示す図である。

【図11】本発明の第１の実施形態における、画像補正の説明図である。

【図12】本発明の第１の実施形態における、加速度の値の一例を示す図である。

【図13】本発明の第１の実施形態における、携帯端末の向きと加速度の値の関係の一例を示す図である。

【図14】本発明の第２の実施形態における、処理の流れを示す図である。

【図15】本発明の第３の実施形態における、処理の流れを示す図である。

【図16】本発明の第４の実施形態における、処理の流れを示す図である。

【発明を実施するための形態】

【0012】

はじめに、本発明の課題と効果の詳細について説明する。

【0013】

例えば、撮影した画像を左右に分割することで、被写体となる調査票の見開き２ページが撮影された画像を、ページごとの画像とすることができると考えられる。画像の分割は、例えば既存の画像分割用の専用アプリケーションで対象の画像を選択し、分割処理を実行することで実現できる。

【0014】

一方、撮影した全ての画像について分割が必要とは限らない。例えば、表紙を撮影する場合は、最初から調査票の画像は表紙１ページ分しかないため分割は不要である。また、見開き２ページの片面（片側のページ）が白紙の場合、白紙ではないもう一方のページのみを撮影することが考えられる。この場合も、撮影されている調査票のページは最初から１ページ分のため画像の分割は不要である。

【0015】

特に撮影した画像が多い場合等、撮影した画像の中から複数枚に分割したい画像を探し出すのは手間である。

【0016】

よって、例えば撮影を実行する端末（本発明では携帯端末）において、撮影した画像をそのまま１枚の画像として記憶するモードと、例えば左右に分割して２枚の画像として記憶するモードを設け、撮影時に設定されていたモードが撮影した画像をそのまま１枚の画像として記憶するモードであれば、撮影した画像を１枚の画像として記憶し、撮影時に設定されていたモードが画像を左右に分割して２枚の画像として記憶するモードであれば画像を分割して記憶することが考えられる。

【0017】

しかし、これらのモードを手動で切り替える（変更する）のは手間である。

【0018】

また、手動での切り替えの場合、モードの切り替えを忘れてしまうことが考えられる。モードの切り替えを忘れて撮影してしまった場合、本当は分割したかった画像が１枚の画像として記憶されてしまったり、反対に、本当は１枚の画像として記憶したかった画像が分割されてしまったりするという問題が生じる可能性がある。

【0019】

これに対し本発明においては、ユーザの、被写体をできるだけはっきりと、又は／及び、大きく撮影しようとする習慣を想定・加味した仕組みを提供する。

【0020】

例えば見開き２ページの画像、つまり横長の被写体の画像を撮影する際は、携帯端末を横向きに構えて撮影し、例えば表紙等１ページの画像、つまり縦長の被写体の画像を撮影する際は、携帯端末を縦向きに構えて撮影すると想定される。

【0021】

本発明においては、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。

【0022】

つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。

【0023】

また、一般的には、撮影した画像は永続記憶領域であるハードディスク等の外部メモリに自動で記憶される。撮影ミスをした場合は、同じ被写体を再撮影することがあるが、本発発明において一例として挙げている調査票の画像のように後に何かしらの業務に用いる画像の場合、同じページの画像の重複は、後の報告業務における業務進行の妨げ・遅れにつながることがある。

【0024】

例えば同じ被写体（調査票のページ）の画像を重複して送信対象として選択してしまい、報告先へ送信してしまうというミスの原因となる可能性がある。

【0025】

そのため、撮影した画像を自動で外部メモリに記憶するのではなく、撮影後に撮影した画像をプレビュー表示する等してユーザに確認させ、報告業務において報告先に送信する画像として外部メモリに記憶するか確認・選択させ、送信対象として適切な画像を記憶装置に記憶させることが望ましい。

【0026】

しかし、一般に提供されている撮影画像のプレビュー表示機能では撮影直後に撮影した画像をそのまま（１枚だけ）表示画面に表示するため、画像を分割するモードで撮影された画像が本当に複数枚の画像として分割されて記憶されたのか確認することができない。

【0027】

また、一般に提供されている撮影画像のプレビュー表示機能を使って、分割した画像のうち１枚（例えば左側のページの画像）を画面に表示した場合、ユーザは右側のページの画像を撮影されているか確認することができず、再撮影を行ってしまうことが考えられる。

【0028】

つまり、撮影された画像が適切な画像の枚数となっているか確認することができない。

【0029】

本発明においては、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。

【0030】

また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。

【0031】

これにより、ユーザは画面に表示された画像を、その後利用する画像として記憶すべきか否かを容易に判断できるようになる。

【0032】

つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。

【0033】

以下、図面を参照して、本発明の実施の形態の一例について説明する。

【0034】

＜第１の実施形態＞
まず図１を参照して、本発明の第１の実施形態における、情報処理システムの構成の一例について説明する。

【0035】

本発明の情報処理システムは、携帯端末１００と、サーバ２００が、ネットワーク１０１（例えばＷＡＮ＝ワイドエリアネットワーク）を介して通信可能に接続され構成されている。

【0036】

携帯端末１００は、調査票をカメラで撮影して記憶し、ネットワーク１０１を介してサーバ２００に送信する情報処理装置である。また、携帯端末１００はタッチパネルディスプレイを備える。

【0037】

サーバ２００は、携帯端末１００から送信された複数の画像を受信し、１つのＰＤＦファイルに変換して保存する。以上が図１の説明である。

【0038】

次に図２を参照して、本発明の第１の実施形態における各種装置のハードウェア構成の一例について説明する。図２は、携帯端末１００、サーバ２００のハードウェア構成の一例を示す図である。

【0039】

図２に示すように、情報処理装置では、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、および通信Ｉ／Ｆコントローラ２０８が接続される。

【0040】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0041】

ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0042】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0043】

入力コントローラ２０５は、キーボードや不図示のマウス等のポインティングデバイス、カメラ等の入力装置２０９からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0044】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0045】

ビデオコントローラ２０６は、ディスプレイ装置２１０などの外部出力装置への表示を制御する。ディスプレイ装置は本体と一体になったノート型パソコンのディスプレイ装置も含まれるものとする。

【0046】

なお、外部出力装置はディスプレイ装置に限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。例えば携帯端末１００は、タッチパネルディスプレイ装置を備える。

【0047】

なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0048】

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0049】

通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

【0050】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0051】

２１２は加速度センサであり、例えば携帯端末１００の加速度を検出する。尚、加速度センサが外部装置として携帯端末１００等の装置に取り付けられている場合、例えば、加速度センサ２１２は入力コントローラと２０５通信することで検出した加速度の情報を携帯端末１００に伝達する

【0052】

２１３は撮影装置であり、被写体の画像を撮影する。尚、撮影装置が外部装置として携帯端末１００等の装置に取り付けられている場合、例えば、撮影装置２１３は入力コントローラ２０５と通信することで検出した撮影した画像を携帯端末１００に出力する。以上が図２の説明である。

【0053】

次に図３を参照して、本発明の第１の実施形態における、各種装置の機能構成の一例について説明する。

【0054】

携帯端末１００には、３１１～３１７に示す機能を備える、画像記憶アプリケーションがインストールされている。

【0055】

撮影部３１１は、被写体を撮影することにより撮影画像を生成して取得する機能部である。向き判定部３１２は、携帯端末１００の向き（画面の向き）を判定数判定して特定する機能部である。

【0056】

モード設定部３１３は、向き判定部３１２により判定され、特定された向きに応じて、撮影された被写体の画像を１枚の画像として記憶・プレビュー表示するモードと、複数枚の画像として記憶・プレビュー表示するモードとを切り替えて設定する機能部である。

【0057】

画面表示部３１４は、撮影画面やプレビュー表示画面を表示する機能部である。画像処理部３１５は、撮影した画像の形状補正や分割処理による分割後の画像の生成を行う機能部である。

【0058】

記憶部３１６は、撮影された画像、補正後の画像を一時記憶領域に記憶したり、永続記憶領域に記憶したりする機能部である（記憶制御手段に該当）。送信部３１７は、送信対象とされた画像を送信先であるサーバ２００に送信する機能部である。

【0059】

受信部３２１は、送信部３１７により送信された画像を受信する機能部である。文書ファイル生成部３２２は、受信した複数の画像ファイルを１つの文書にまとめる処理を行う機能部である。具体的には、１回の調査票の報告として送信されてきた複数の画像を、複数ページのＰＤＦ帳票（１つの文書ファイル）に変換する。

【0060】

記憶部３２３は、受信した画像を記憶し、前述した文書ファイルを調査結果のデータとして記憶する機能部である。以上が図３の説明である。

【0061】

次に図４を参照して、本発明の第１の実施形態における、情報処理装置の向きに応じたモード設定処理の流れについて説明する。図４の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。

【0062】

ステップＳ４０１で、携帯端末１００は、携帯端末１００に記憶されている撮影アプリケーションをユーザ操作に応じて起動し、撮影画面を表示する。

【0063】

具体的には、画像記憶アプリケーションの起動後に表示される不図示のメニュー画面から、撮影画面の表示操作を受け付けたことに応じて撮影画面を表示する。また、画像記憶アプリケーションを終了するか、撮影画面の終了操作を受け付けることで、撮影画面の表示を終了する。

【0064】

撮影画面の一例を図８の８００、図９の９００に示す。８００及び９００の詳細については後述する。

【0065】

以降、画像記憶アプリケーションは、ステップＳ４０３～Ｓ４０５の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、画面の向き（携帯端末１００の向き）を取得する都度実行する。

【0066】

携帯端末１００の向きの情報は、携帯端末１００の向きが変わる都度取得される。具体機には、画像記憶アプリケーションがＯＳに対して、携帯端末１００の向きが変化した場合には変化後（変更後）の向きを画像記憶アプリケーションに通知するよう指示・要求する。

【0067】

当該指示を受け付けたＯＳは、自機の向きが変化したと判定される都度、変化後の向きの情報を画像記憶アプリケーションに送信する。これを携帯端末１００が受信してステップＳ４０２で取得する。

【0068】

ＯＳは図１２の１２００に示すような加速度の値から自機がどの向きを向いているかを特定する機能を有している。

【0069】

１２１０は、加速度と携帯端末１００の向きの関係の一例である。Ｘ，Ｙ，Ｚの値は加速度センサにより計測され取得した加速度の値を示す。ＯＳは、例えば現在加速度センサによって計測されて取得されている値（Ｘ，Ｙ，Ｚ）と最も近い値の状態を現在の端末の向き（状態）と判断する。

【0070】

実際の携帯端末１００の向き（状態）と加速度の値の関係の一例を図１３に示す。

【0071】

ＯＳは、画像記憶アプリケーションからの指示に従って、携帯端末１００の画面の向きが変化する都度、変化後の向きを示す値を送信する。向きの値は図７の７１０に示す。具体的には、画面の向きが図１２の１２１０の縦状態に最も近い状態の場合に「Ｐｏｒｔｒａｉｔ」という値を返す。画面の向きが逆さ状態に最も近い状態の場合に「Ｕｐｓｉｄｅｄｏｗｎ」という値を返す。画面の向きが左横状態に最も近い状態の場合に「Ｌａｎｄｓｃａｐｅｌｅｆｔ」という値を返す。画面の向きが右横状態に最も近い状態の場合に「Ｌａｎｄｓｃａｐｅｒｉｇｈｔ」という値を返す。画像記憶アプリケーションは、ＯＳから送信された値を取得する。

【0072】

ステップＳ４０３で、画像記憶アプリケーションは、取得した値に基づいて、画面が縦向きかと横向きか（縦長か横長か）を判定する。

【0073】

具体的には、ＯＳから取得した値が「Ｐｏｒｔｒａｉｔ」又は「Ｕｐｓｉｄｅｄｏｗｎ」の場合に、画面が縦向きであると判定する。また、取得した値が「Ｌａｎｄｓｃａｐｅｌｅｆｔ」又は「Ｌａｎｄｓｃａｐｅｒｉｇｈｔ」の場合に、画面が横向きであると判定する。

【0074】

画面が縦向きの場合、処理をステップＳ４０４に移行し、撮影モードを「Ａ４モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定７００（図７）の値を、Ａ４モードに設定変更する。モードの種類は図７に示すように「Ａ４モード」と「Ａ３モード」の２つがある。

【0075】

本実施形態の説明におけるＡ４モードとは、撮影した画像をそのままＲＡＭ２０３に記憶し、プレビュー表示するモードである。

【0076】

画面が横向きの場合、処理をステップＳ４０５に移行し、撮影モードを「Ａ３モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定７００（図７）の値を、Ａ３モードに設定変更する。

【0077】

本実施形態の説明におけるＡ３モードとは、撮影した画像をＲＡＭ２０３に記憶した後、左右に分割して複数枚の画像として再記憶し、複数枚の画像を１画面でプレビュー表示するモードである。以上が図４の説明である。

【0078】

次に図５を参照して、本発明の第１の実施形態における、モードに応じたガイド画像の表示処理の流れについて説明する。図５の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。

【0079】

画像記憶アプリケーションは、ステップＳ５０１からステップＳ５０５の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、撮影モードが変更される都度（画面の向きを取得する都度）実行する。

【0080】

ステップＳ５０１で、画像記憶アプリケーションは、図４のステップＳ４０４またはＳ４０５で設定、変更されたモード設定７００を参照する。

【0081】

ステップＳ５０２で、現在設定中のモードがＡ４モードかＡ３モードか判定する。Ａ４モードが設定されている場合は処理をステップＳ５０５に移行し、Ａ３モードが設定されている場合は、処理をステップＳ５０３に移行する。

【0082】

ステップＳ５０５で、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きなＡ４用紙の縦横比（縦：横＝√２：１）の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にＡ４縦の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する（ライブビューに重畳表示する）。

【0083】

ライブビュー表示の機能は、一般的にコンパクトデジタルカメラやスマートフォン等に搭載されている機能である。具体的には、ディスプレイ装置に対して、例えば自機の備える撮影装置（カメラ／撮像装置）の撮影素子からの出力を、映像としてリアルタイムに映し出す機能である。

【0084】

Ａ４モードにおける撮影画面の一例を図８の８００に示す。８０５はライブビューの表示領域である。８０４はシャッターボタンである。

【0085】

８０１は、被写体である調査票である。８０２は、携帯端末１００において現在Ａ４モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン８０２は、現在設定されているモードがＡ３モードになれば、Ａ３モードを示す表示に切り替えて表示する（図９のアイコン９０２）。

【0086】

８０３はガイド枠である。ガイド枠８０３の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｆｒａｍｅ．ｊｐｇ」がガイド枠８０３の画像である。

【0087】

ステップＳ５０３では、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きな横向きＡ３用紙の縦横比（縦：横＝１：√２）の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にＡ３横の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する（ライブビューに重畳表示する）。ガイド枠は、例えばガイド枠９０３である。

【0088】

さらに、ステップＳ５０４で、ライブビューの表示領域の中央に、撮影後のＡ３見開きの補正画像を左右に分割する基準となるガイド線（区切り線）を重畳表示する。具体的には図９の９００に示すように、ガイド線９０６を表示する。

【0089】

Ａ４の冊子を開いた際の（Ａ３見開きの）ノドの部分を当該ガイド線に合わせて調査票を撮影することで、適切に左右のページを分割できる画像を撮影することができる。以上が図５の説明である。

【0090】

Ａ３モードにおける撮影画面の一例を図９の９００に示す。９０５はライブビューの表示領域である。９０４はシャッターボタンである。

【0091】

９０１Ｌは、被写体である調査票のＡ３見開きの左側のページである。９０１Ｒは、被写体である調査票のＡ３見開きの右側のページである。

【0092】

９０２は、携帯端末１００において現在Ａ３モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン９０２は、現在設定されているモードがＡ４モードになれば、Ａ４モードを示す表示に切り替えて表示する（図８のアイコン８０２）。

【0093】

また、Ａ３モードのアイコン９０２の押下を受け付けた場合は、携帯端末１００の向きに関わらず、設定中のモードをＡ４モードに切り替える。

【0094】

９０３はガイド枠である。ガイド枠９０３の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｆｒａｍｅ．ｊｐｇ」であり、ガイド枠８０３の画像と同じである。

【0095】

９０６はガイド線である。ガイド線９０６の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｌｉｎｅ．ｊｐｇ」がガイド線９０６の画像である。

【0096】

次に図６を参照して、本発明の第１の実施形態における、モードに応じた撮影画像の表示及び記憶処理の流れについて説明する。図６の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。

【0097】

ステップＳ６０１で、画像記憶アプリケーションは撮影操作を受け付ける。例えばシャッターボタンの押下操作を受ける。撮影操作を受け付けると、ステップＳ６０２で撮影を実行する。具体的には、画像記憶アプリケーションが、携帯端末１００が備える撮影装置に撮影実行を指示し、撮影装置が撮影を実行する。

【0098】

ステップＳ６０３で、画像記憶アプリケーションは撮影装置から撮影された画像（撮影画像）を取得すると、一時記憶領域に保存する。

【0099】

具体的には、ＲＡＭ２０３の上に撮影画像の一時記憶テーブルを生成し、当該テーブルに記憶する。例えば、ステップＳ６０３で画像を記憶した一時記憶テーブルの一例を図７の撮影画像記憶テーブル７３０に示す。

【0100】

ステップＳ６０４で、画像記憶アプリケーションは、現在設定中のモードを参照する。具体的には、図７のモード設定７００の値を参照する。

【0101】

ステップＳ６０５で、画像記憶アプリケーションは、現在設定中のモードがＡ４モードかＡ３モードか判定する。Ａ４モードが設定されている場合は処理をステップＳ６１２に移行し、Ａ３モードが設定されている場合は、処理をステップＳ６０６に移行する。

【0102】

ステップＳ６１２で、画像記憶アプリケーションは、ステップＳ６０４で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、Ａ４縦の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。変形の様子を図１１の１１２０に示す。

【0103】

例えば図１１の１１０２に示す被写体の頂点（補正対象の点）を、Ａ４縦のサイズの矩形（予め携帯端末１００の外部メモリに記憶されている矩形）の頂点に一致させるように、矢印１１０３に示すように画像を変形させ、当該被写体の画像を縦向きのＡ４用紙のサイズ・形状とする補正を行う。図１１の１１００では説明のため、ガイド枠の頂点１１０１を用いて図示している。補正の途中の例を１１１０に示す。

【0104】

実査には、外部メモリに記憶されているＡ４縦のサイズの矩形の各頂点に左上、右上、左下、右下を示す識別情報をそれぞれ付与する。また、トリミングした被写体の画像の各頂点にも左上、右上、左下、右下を示す識別情報をそれぞれ付与し、左上の頂点同士、右上の頂点同士、左下の頂点同士、右下の頂点同士が一致するように、被写体の画像を変形させることで、当該被写体の画像をＡ４用紙の縦横比（縦：横＝√２：１）に合うように形状変更する補正を行う。

【0105】

その後、ＲＡＭ２０３等の一時記憶領域に、補正後の画像であって、プレビュー表示する画像を記憶する補正画像記憶テーブルを生成して、補正後の画像（補正画像）をそのまま（１枚の画像として）記憶する。補正後の画像をそのまま記憶した補正画像記憶テーブルの一例を図７の７４０Ａに示す。

【0106】

ステップＳ６１３で、画像記憶アプリケーションは、ステップＳ６１２で補正画像記憶テーブル７４０Ａに記憶された補正後の画像を、表示画面に１枚の画像としてプレビュー表示する。プレビュー表示の一例を図８の８１０に示す。

【0107】

８１０は、Ａ４モードが設定されている状態で撮影された画像のプレビュー表示画面の一例である。８１１は補正後の画像である。

【0108】

「決定」ボタン８１２は、画像８１１を永続記憶領域、例えば外部メモリ２１１に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ２００に送信する画像の候補として選択可能とする画像である。

【0109】

「取り消し」ボタン８１３は、画像８１１を破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。

【0110】

ステップＳ６０６では、画像記憶アプリケーションは、ステップＳ６０４で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、Ａ３横の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。補正の内容はＡ４縦の補正時と同じである。

【0111】

例えば図１１の１１２２に示す被写体の頂点（補正対象の点）を、Ａ３横のサイズの矩形（予め携帯端末１００の外部メモリに記憶されている矩形）の頂点に一致させるように、矢印１１２３に示すように画像を変形させ、当該被写体の画像を横向きのＡ３用紙のサイズ・形状とする補正を行う。図１１の１１２０では説明のため、ガイド枠の頂点１１２１を用いて図示している。

【0112】

その後、ステップＳ６０７で、画像記憶アプリケーションは、ステップＳ６０６で補正した画像を、左右に２等分に分割することで２枚の画像データを生成し、複数枚の画像として一時記憶領域に記憶する。

【0113】

具体的には、補正画像記憶テーブルをＲＡＭ２０３に生成し、補正後のＡ３横向きの画像を、縦向きのＡ４画像２枚として分割して、２枚の画像を当該補正画像記憶テーブルに記憶する。

【0114】

分割された複数枚の画像を記憶した補正画像記憶テーブルの一例を図７の補正画像記憶テーブル７４０Ｂに示す。「ｐｉｃｔｕｒｅ００１Ａ＿ｌｅｆｔ」が、補正後の調査票の画像の左側ページの画像として分割され生成、記憶された画像である。「ｐｉｃｔｕｒｅ００１Ａ＿ｒｉｇｈｔ」が、補正後の調査票の画像の右側ページの画像として分割され生成、記憶された画像である。

【0115】

ステップＳ６０８で、画像記憶アプリケーションは、ステップＳ６０７で分割し、補正画像記憶テーブル７４０Ｂに記憶された複数枚の補正後の画像を、表示画面に、分離させた状態で左右に並べてプレビュー表示する。プレビュー表示の一例を図９の９１０に示す。

【0116】

補正画像記憶テーブル７４０Ｂから取得した複数の画像の表示位置を、複数の画像が離れて（分離して）表示される位置（例えば図９の９１０における９１４Ｌ、９１４Ｒの位置）にそれぞれ決定し、決定した位置のそれぞれに表示対象の画像を配置して表示する。

【0117】

具体的には、基準線９１５Ｌ（破線）の中心点の位置９１４Ｌに左側の画像の左辺の中心点を合わせ、当該画像を、基準線９１６Ｌ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｌはライブビュー表示領域の左端から所定距離の位置に設定し、基準線９１６Ｌはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。

【0118】

また、基準線９１５Ｒ（破線）の中心点の位置９１４Ｒに右側の画像の右辺の中心点を合わせ、当該画像を、基準線９１６Ｒ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｒはライブビュー表示領域の右端から所定距離の位置に設定し、基準線９１６Ｒはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。

【0119】

９１０は、Ａ３モードが設定されている状態で撮影された画像を分割して表示しているプレビュー表示画面の一例である。９１１Ｌは、９０１Ｌに示す左ページの画像が補正された画像である。９１１Ｒは、９０１Ｒに示す右ページの画像が補正された画像である。

【0120】

「決定」ボタン９１２は、画像９１１Ｌ及び９１１Ｒを永続記憶領域、例えば外部メモリ２１１に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ２００に送信する画像の候補として選択可能とする画像である。

【0121】

「取り消し」ボタン９１３は、画像９１１Ｌ及び９１１Ｒを破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。

【0122】

ステップＳ６０９で、画像記憶アプリケーションはユーザ操作を受け付け、ステップＳ６１０で、受け付けた操作がプレビュー表示されている画像（ステップＳ６０７又はＳ６１２で記憶された補正画像記憶テーブルの画像）の、外部メモリ２１１への記憶を確定する操作か、当該画像を破棄する操作か判定する（操作判定手段に該当）。

【0123】

例えば、プレビュー表示画面における「決定」ボタンの押下を受け付けた場合に、プレビュー表示されている画像の、外部メモリ２１１への記憶を確定する操作を受け付けたと判定する。

【0124】

また、プレビュー表示画面における「取り消し」ボタンの押下を受け付けた場合に、プレビュー表示されている画像を破棄する操作を受け付けたと判定する。

【0125】

ステップＳ６０９で受け付けた操作が、プレビュー表示されている画像の、外部メモリ２１１への記憶を確定する操作であると判定された場合は、処理をステップＳ６１１に移行する。

【0126】

ステップＳ６０９で受け付けた操作が、プレビュー表示されている画像の破棄の操作であると判定された場合に、プレビュー表示画面を終了して撮影画面を表示する。

【0127】

ステップＳ６１１では、記憶を確定する操作がされた画像（「決定」ボタンの押下を受け付けた時点でプレビュー表示されていた画像）を、外部メモリ２１１に記憶する。具体的には、外部メモリ２１１に記憶されている画像記憶テーブル７５０（図７）に、当該画像を追加記憶する処理を行う。

【0128】

その後、プレビュー表示画面を終了して撮影画面を表示する。以上が図６の説明である。

【0129】

図１０を参照して、サーバ２００へ送信する画像の選択及び送信処理について説明する。

【0130】

画像一覧表示画面１０００は、画像記憶テーブル７５０に記憶されている画像を１枚ずつ、一覧にして表示する画像一覧の表示画面である。

【0131】

画像記憶アプリケーションは、不図示のメニュー画面において、画像一覧表示画面１０００を表示する操作を受け付けることで、画像一覧表示画面１０００を表示画面に表示する。

【0132】

画像記憶アプリケーションは、１００１に示す一覧表示部に、１０００に示すように画像一覧を、個別に選択可能に表示する。１００２は各画像の撮影日時である。

【0133】

画像の選択操作を受け付けると、画像を選択状態にする。選択状態の画像は選択枠１００３を表示して識別可能とする。（選択受付手段に該当）

【0134】

画像記憶アプリケーションは、「報告フォームへ移動」ボタン１００４の押下を受け付けると、選択状態の画像をサーバ２００への送信する対象画像として決定し、表示画面を報告フォーム画面１０１０に表示遷移させる。

【0135】

ページ数表示部１０１１には、送信する対象画像の枚数を表示する。

【0136】

画像記憶アプリケーションは、報告する（サーバ２００に画像を送信する）調査票の調査対象の薬剤名と、情報源（例えば調査票を回収した病院名）と、当該報告を識別するための任意の管理番号の入力を受け付ける。

【0137】

そして、「送信」ボタン１０１２の押下を受け付けることで、送信対象の画像と、報告フォーム画面１０１０で入力を受け付けた各情報を、報告情報として、サーバ２００に送信する。

【0138】

サーバ２００のＣＰＵ２０１は、当該報告情報を受信し、そのなかの画像データを取得して、１つの文書ファイルに変換する。例えば、１０枚の画像を受信した場合、当該１０枚の画像を１０ページのＰＤＦファイルに変換して外部メモリに記憶する。以上が図１０の説明である。

【0139】

以上説明したように、本発明によれば、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。

【0140】

例えば、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。

【0141】

また、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。

【0142】

また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。

【0143】

これにより、ユーザは画面に表示された画像を、その後利用する（報告対象の画像としてサーバに送信すべき）画像として記憶すべきか否かを容易に判断できるようになる。

【0144】

なお、例えば外出中に、カフェのバーカウンター等のように横のスペースは十分だが奥行きが浅くＡ４用紙を縦におけない場所において、Ａ４用紙（調査票）が横向きに置かれて撮影されることが想定される。この場合ユーザは携帯端末１００を横向きに構えてＡ４の画像１ページ分の画像を撮影したいと想定される。よって、上述した実施形態では、携帯端末１００が横向きの状態であっても、Ａ３モードのアイコン９０２の押下を受け付けた場合には、モードをＡ４モードに設定変更することができるものとした。

【0145】

一方で、縦方向のスペースは十分にあり、横幅はＡ４用紙を横向きにおけるだけのスペースがある場所で、Ａ３見開きの調査票を、開いた状態でＡ３縦の向きで置いて撮影したいこともあると考えられる。この場合ユーザは携帯端末１００を縦向きに構えて撮影したいと想定される。つまり、端末が縦向きの場合であってもＡ３モードで撮影したいことがある可能性がある。よって、例えば、携帯端末１００が縦向きの状態であっても、Ａ４モードのアイコン８０２の押下を受け付けた場合には、モードをＡ３モードに設定変更するようにしてもよい。

【0146】

＜第２の実施形態＞
次に図１４を参照して、本発明の第２の実施形態における、処理の流れについて説明する。

【0147】

第１の実施形態においては、携帯端末の向きに応じて撮影した画像をそのまま記憶して表示するモードと、撮影された画像を複数枚の画像に分割して、分割されたことが分かるように表示するモードを切り替えるものとした。しかし、必ずしも端末の向きが変わる都度モードを変更したくないことがある。

【0148】

例えばＡ３モードのアイコン９０２が押下されてモードをＡ４モードに変更した場合、それ以降は端末が横向きであっても、Ａ４モードで撮影・画像の記憶を継続したいことが考えられる。

【0149】

Ａ４縦の調査票をわざわざ横向きに置いて撮影するということは、当該調査票を横向きにしか置けない場所で撮影していると考えられるためである。

【0150】

一方、第１の実施形態によれば、携帯端末１００の向きが変わる都度、向きに応じたモードに設定中のモードが変更される。そのため、携帯端末１００を手の中で持ち直したり、調査票の裏面も撮影しようと調査票を裏返したりするタイミング等で、携帯端末１００を横向きの状態から縦向きに傾けてしまい、その後撮影を継続しようと、再び携帯端末１００を横向きにした場合、モードがＡ３モードに切り替わってしまう。

【0151】

第２の実施形態においては、モードを変更のタイミングを適切に決定する仕組みを提供する。

【0152】

図１４の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。

【0153】

図１４の処理は、図４のステップＳ４０２の直後に開始する。

【0154】

ステップＳ１４０１で、画像記憶アプリケーションは、携帯端末１００が縦向きか横向きか判定する。当該判定処理は図４のステップＳ４０３の処理と同じである。

【0155】

携帯端末１００が縦向きであると判定された場合は処理をステップＳ１４０２に移行し、横向きであると判定された場合は処理をステップＳ１４０３に移行する。

【0156】

ステップＳ１４０２では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にＡ３モードで撮影及び外部メモリ２１１への分割された画像の記憶がされているか判定する。

【0157】

例えば、図６のステップＳ６１１で、補正後の画像を外部メモリ２１１に記憶した後、記憶した画像がＡ４モードで撮影された画像であればフラグ＝１を、Ａ３モードで撮影された画像であればフラグ＝２をＲＡＭ２０３に記憶し、撮影画面が終了してメニュー画面に戻った場合に当該フラグの値を０にするものとする。また、一度設定されたフラグは、メニュー画面に戻るまで変更しないものとする。

【0158】

画像記憶アプリケーションは、当該フラグが１の場合はＡ４モードで撮影済（Ａ３モードで撮影済ではない）と判定し、当該フラグが２の場合はＡ３モードで撮影済と判定する。また、フラグが０の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。

【0159】

Ａ３モードで撮影済と判定された場合は、設定中のモードをＡ３モードからＡ４モードに変更せずに、Ａ３モードで撮影済でないと判定された場合は、処理を図４のステップＳ４０４に移行してモードをＡ４モードに変更する。

【0160】

ステップＳ１４０３では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にＡ４モードで撮影及び外部メモリ２１１への分割された画像の記憶がされているか判定する。

【0161】

例えば、前記フラグが１の場合はＡ４モードで撮影済と判定し、当該フラグが２の場合はＡ３モードで撮影済（Ａ４モードで撮影済ではない）と判定する。また、フラグが０の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。

【0162】

Ａ４モードで撮影済と判定された場合は、設定中のモードをＡ４モードからＡ３モードに変更しないことを決定し、モードを変更せずに、Ａ４モードで撮影済でないと判定された場合は、処理を図４のステップＳ４０５に移行してモードをＡ３モードに変更することを決定し、Ａ３モードに変更する。以上が第２の実施形態の説明である。

【0163】

第２の実施形態の発明によれば、モードを変更のタイミングを適切に決定する仕組みを提供することができる。

【0164】

＜第３の実施形態＞
次に図１５を参照して、本発明の第３の実施形態における、処理の流れについて説明する。

【0165】

第３の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか１枚記憶するかを適切に決定することができる仕組みを提供する。

【0166】

図１５の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態及び第２の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。

【0167】

図１５の処理は、図６のステップＳ６０５でＡ３モードであると判定された直後に開始する。

【0168】

ステップＳ１５０１で、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている被写体の画像を読みだして被写体認識の処理を行い、被写体の頂点４点のライブビュー表示領域上の位置を特定する。そして、当該４点が、ライブビュー表示領域の左半分、又は右半分の領域内に収まるか判定する。つまり、画面の左右５０％以内の領域に被写体が収まっているか判定する。（被写体判定手段に該当）

【0169】

収まっていない場合は処理を図６のステップＳ６０７に移行する。収まっている場合には処理をステップＳ１５０２に移行する。

【0170】

ステップＳ１５０２で、画像記憶アプリケーションは、当該被写体を検出した側（４つの頂点を検出した側）の画像を切り出して取得し、ＲＡＭ２０３等の一時記憶領域に記憶する。

【0171】

ステップＳ１５０３で、画像記憶アプリケーションは、画像補正の補正先のサイズをＡ４縦のサイズ・形状の矩形に設定する。

【0172】

そして、ステップＳ１５０４で、被写体を検出した側の画像（実際に撮影した画像の右半分又は左半分の画像）の中から認識した被写体（調査票）の画像を切り出し、当該被写体の画像の各頂点を、Ａ４縦の矩形の頂点に合わせるように変形させて台形補正を行う。

【0173】

ステップＳ１５０５で、画像記憶アプリケーションは、補正後の画像を一時記憶領域（補正画像記憶テーブル）に記憶し、当該記憶した１枚の画像の、プレビュー画面における表示位置を決定する。

【0174】

本実施形態においては、撮影された画像の被写体がライブビュー画面の左側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定して表示する。

【0175】

具体的には、基準線９１５Ｌ（破線）の中心点の位置９１４Ｌに画像の左辺の中心点を合わせ、当該画像を、基準線９１６Ｌ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｌはライブビュー表示領域の左端から所定距離の位置に設定し、基準線９１６Ｌはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。

【0176】

撮影された画像の被写体がライブビュー画面の右側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。

【0177】

具体的には、基準線９１５Ｒ（破線）の中心点の位置９１４Ｒに画像の右辺の中心点を合わせ、当該画像を、基準線９１６Ｒ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｒはライブビュー表示領域の右端から所定距離の位置に設定し、基準線９１６Ｒはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。

【0178】

ステップＳ１５０６で、画像記憶アプリケーションは、ステップＳ１５０５で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。

【0179】

なお、ステップＳ１５０５で決定された位置が画面左側の位置９１４Ｌを基準として基準線９１５Ｌと基準線９１６Ｌとの間の位置となる場合、画面右側の基準線９１５Ｒと基準線９１６Ｒとの間の位置には画像を表示しない。また、ステップＳ１５０５で決定された位置が画面右側の位置９１４Ｒを基準として基準線９１５ＬＲと基準線９１６Ｒとの間の位置となる場合、画面左側の基準線９１５Ｌと基準線９１６Ｌとの間の位置には画像を表示しない。以上が第３の実施形態の説明である。

【0180】

以上説明したように、本発明の第３の実施形態によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか１枚記憶するかを適切に決定することができる。

【0181】

例えば、調査票の表紙等Ａ４縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。

【0182】

また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか１枚記憶しているか／記憶するかを強調してユーザに提示し、確認させることができる。

【0183】

＜第４の実施形態＞
次に図１６を参照して、本発明の第４の実施形態における、処理の流れについて説明する。

【0184】

第４の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、１枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供する。

【0185】

図１６の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態、第２の実施形態、第３の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。

【0186】

また、第４の実施形態においては、撮影操作は、シャッターボタンの押下と、ライブビュー表示領域の押下（タッチ）の２種類あるものとする。

【0187】

画像記憶アプリケーションは、ステップＳ６０１で撮影操作を受け付けた場合に、当該撮影操作がシャッターボタンの押下操作か、ライブビュー表示領域の押下操作かを識別する識別情報をＲＡＭ２０３に記憶する。また、受け付けた操作がライブビュー表示領域の押下操作の場合には、押下された位置（ライブビュー表示領域上の位置）を記憶する。

【0188】

図１６の処理は、図６のステップＳ６０３の直後に開始する。

【0189】

ステップＳ１６０１で、画像記憶アプリケーションは、ステップＳ６０１で受け付けた撮影のための操作が、シャッターボタンの押下か、ライブビュー表示領域の押下か判定する。

【0190】

シャッターボタンの押下である場合は、処理を図６のステップＳ６０４に移行する。ライブビュー表示領域の押下である場合には、処理をステップＳ１６０２に移行する。

【0191】

ステップＳ１６０２で、画像記憶アプリケーションは、撮影操作を受け付けた位置が、ライブビュー表示領域のガイド線上か、ガイド線上を除いた左半分の領域内か、ガイド線上を除いた右半分の領域内かを判定する。

【0192】

ガイド線上、つまり、ライブビュー表示領域の中央線上に対する撮影操作の場合は、処理をステップＳ６０４に移行する。

【0193】

撮影操作を受け付けた位置が、ガイド線上を除いた左半分の領域内の場合には処理をステップＳ１６０７に、ガイド線上を除いた右半分の領域内の場合には処理をステップＳ１６０３に移行する。

【0194】

ステップＳ１６０３で、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている画像を取得して左右に二等分し、右半分の画像を取得する。

【0195】

ステップＳ１６０４で、ステップＳ１６０３で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、Ａ４縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。

【0196】

一方、ステップＳ１６０７では、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている画像を取得して左右に二等分し、左半分の画像を取得する。

【0197】

ステップＳ１６０８で、ステップＳ１６０７で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、Ａ４縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。

【0198】

ステップＳ１６０５で、画像記憶アプリケーションは、補正後の画像のプレビュー画面における表示位置を決定する。

【0199】

本実施形態においては、撮影操作の位置がライブビュー表示領域の左側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定する。

【0200】

撮影操作の位置がライブビュー表示領域の右側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。

【0201】

ステップＳ１６０６で、画像記憶アプリケーションは、ステップＳ１５０５で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。

【0202】

なお、ステップＳ１６０５で決定された位置が画面左側の位置の場合、画面右側の位置には画像を表示しない。また、ステップＳ１６０５で決定された位置が画面右側の位置の場合、画面左側の位置には画像を表示しない。以上が第３の実施形態の説明である。以上が第４の実施形態の説明である。

【0203】

第４の実施形態の発明によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、１枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供することができる。

【0204】

例えば、調査票の表紙等Ａ４縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。

【0205】

また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか１枚記憶しているか／記憶するかを強調してユーザに提示し、確認させることができる。

【0206】

以上説明したように、本発明によれば、携帯端末において撮影された画像を適切に記憶するための仕組みを提供することができる。

【0207】

上述した実施形態の説明においては、画像を受信したサーバ２００側で画像を文書ファイルに変換するものとしたが、例えばサーバ２００への送信対象の画像を１つの文書ファイルに変換する処理を携帯端末１００で行ってから、サーバ２００に送信するようにしてもよい。

【0208】

また、上述した実施形態の説明においては、端末が縦向きの場合に撮影した画像をそのまま記憶するモードとし、端末が横向きの場合に撮影した画像を複数枚の画像として記憶するモードとし、当該モードに沿って画像を分割、記憶するものとしたが、モードの設定を設けずに、端末が横向きの場合に撮影した画像はそのまま記憶し、端末が横向きの場合に撮影した画像は複数枚の画像に分割して記憶、プレビュー表示するようにしてもよい。

【0209】

具体的には、図６のステップＳ６０３において、画像と撮影時の携帯端末１００の向き（例えば縦向き又は横向き）を記憶しておき、ステップＳ６０４で当該撮影時の携帯端末１００の向きの情報を参照して、ステップＳ６０５で撮影時の携帯端末１００の向きが縦向きだったか横向きだったかを判定する。縦向きだった場合には処理をステップＳ６１２に移行し、横向きだった場合には処理をステップＳ６０６に移行する。

【0210】

また、上述した実施形態においては、画像が分割されて複数枚記憶されたことをユーザに確認させるために、プレビュー表示画面９１０において複数枚の画像を最初から離して位置決定・表示するものとしたが、例えば最初は複数の画像が接している状態で表示し、その後複数枚の画像が離れるようにプレビュー表示画面９１０の各画像の位置まで移動させるようアニメーション表示をすることで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。また、複数枚の画像が接している状態で表示し、それぞれの画像の辺を赤線等の線で識別表示する（それぞれの画像の辺の位置に赤線の画像を重畳表示する）ことで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。

【0211】

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。また、上述した各実施形態は自由に組み合わせ可能である。

【0212】

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

【0213】

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

【0214】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－Ｒ）などもある。

【0215】

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

【0216】

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

【0217】

また、本発明のプログラムを暗号化してＣＤ－ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

【0218】

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

【0219】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

【0220】

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0221】

１００ 携帯端末
１０１ ネットワーク
２００ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2023-05-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮影手段と、
用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御手段と、
前記撮影画像のうち前記用紙が写る部分を複数の領域に分割する処理を行う処理手段と、
前記処理手段による処理によって分割された前記複数の領域を互いに異なるページとして表示するように前記撮影制御手段による前記撮影の際に、ライブビュー画像に領域の区切りを示す表示物を表示制御する表示制御手段と
を有することを特徴とする情報処理装置。

【請求項2】

特定の条件を満たす場合には、前記処理手段は、前記撮影画像のうち前記用紙が写る部分を分割する処理を行わず、前記表示制御手段は、前記用紙が写る部分を単一のページとして表示するように制御し、
前記特定の条件を満たさない場合には、前記処理手段は、前記複数の領域に分割し、前記表示制御手段は、前記処理手段による処理によって分割された前記複数の領域を互いに異なるページとして表示するように制御する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

特定の条件を満たす場合には、前記処理手段は、前記撮影画像のうち前記用紙が写る部分を分割する処理を行わず、前記表示制御手段は、前記用紙が写る部分を単一のページとして取得するように制御し、
前記特定の条件を満たさない場合には、前記処理手段は、前記複数の領域に分割し、前記表示制御手段は、前記処理手段による処理によって分割された前記複数の領域を互いに異なるページとして取得するように制御する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

特定の条件を満たす場合には、前記処理手段は、前記撮影画像のうち前記用紙が写る部分を分割する処理を行わず、前記表示制御手段は、前記用紙が写る部分を単一のページとして出力するように制御し、
前記特定の条件を満たさない場合には、前記処理手段は、前記複数の領域に分割し、前記表示制御手段は、前記処理手段による処理によって分割された前記複数の領域を互いに異なるページとして出力するように制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記撮影制御手段により取得された画面の向きを示す情報を取得する取得手段を更に有し、
前記特定の条件とは、前記取得手段で取得した画面の向きが縦長の画面であることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記表示制御手段は、前記処理手段により複数の領域に分割した後は、前記特定の条件に関わらず、前記複数の領域を互いに異なるページとして表示することを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記表示制御手段は、前記処理手段による処理によって生成された前記複数の領域を互いに間隔を空けて表示するように制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記処理手段は、前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正を行うことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

撮影工程と、
用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御工程と、
前記撮影画像のうち前記用紙が写る部分を複数の領域に分割する処理を行う処理工程と、
前記処理工程による処理によって分割された前記複数の領域を互いに異なるページとして表示するように
前記撮影制御工程による前記撮影の際に、ライブビュー画像に領域の区切りを示す表示物を表示制御する表示制御工程と
を含むこと特徴とする情報処理方法。

【請求項10】

コンピュータを、請求項１乃至８のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明は、撮影画像を適切な複数ページに分割した画像として撮影することを確認できる仕組みを提供することを目的とする。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本発明は、撮影手段と、用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御手段と、前記撮影画像のうち前記用紙が写る部分を複数の領域に分割する処理を行う処理手段と、前記処理手段による処理によって分割された前記複数の領域を互いに異なるページとして表示するように前記撮影制御手段による前記撮影の際に、ライブビュー画像に領域の区切りを示す表示物を表示制御する表示制御手段とを有することを特徴とする。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

本発明によれば、撮影画像を適切な複数ページに分割した画像として撮影することを確認できる仕組みを提供することができる。