JP4599693B2 - 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4599693B2 JP4599693B2 JP2000277053A JP2000277053A JP4599693B2 JP 4599693 B2 JP4599693 B2 JP 4599693B2 JP 2000277053 A JP2000277053 A JP 2000277053A JP 2000277053 A JP2000277053 A JP 2000277053A JP 4599693 B2 JP4599693 B2 JP 4599693B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- character
- instruction word
- position information
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000008859 change Effects 0.000 claims description 39
- 238000003780 insertion Methods 0.000 claims description 17
- 230000037431 insertion Effects 0.000 claims description 17
- 238000000926 separation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 45
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000012805 post-processing Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Processing Or Creating Images (AREA)
- Document Processing Apparatus (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、画像データに含まれる文字列および/または図面のレイアウトを変更する画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体に関する。
【0002】
【従来の技術】
使用目的に応じ、画像データを有効に利用するための多様な編集方法が知られている。
【0003】
特開平8−255160号は、文字・図形・写真・画像などの視覚的に認識可能な情報を、所定の領域内に自動レイアウトする編集方法を開示している。当該方法においては、電子化された画像データに対し、ディスプレイ装置に表示するためのレイアウト情報が自動的に付加される。
【0004】
特開平10−228473号は、画像に含まれる図面である図および表と、それに関連する本文との間にリンクを自動的に生成し、ハイパーテキスト化する編集方法を開示している。当該方法は、図および表が存在する領域とその近傍の文字領域との位置関係に基づいて、キャプションを検出するステップ、キャプションから図面に関連する所定の文字列を検出するステップ、検出された文字列と同一の文字列を文字領域から検出し、キャプション内の文字列と文字領域内の文字列との間にリンクを生成するステップを有している。
【0005】
特開平11−85741号は、図面番号を最適な位置に自動レイアウトする編集方法を開示している。当該方法においては、設定された図面番号パラメータに応じて、図面に図面番号が自動的に割り付けられる。
【0006】
【発明が解決しようとする課題】
一般に、文書に含まれる図面は、「図1」や「図2」などの一意的な数値を含んだ図面番号、あるいは「右図」や「上図」などの図面の位置を指し示す文字列を使用して参照される。
【0007】
しかし、図面の位置を指し示す文字列は、一意的な数値を含んだ図面番号と異なり、レイアウト変更処理が適用される場合、問題を生じる。例えば、レイアウト変更によって、「右図」で参照されている図面が、「右図」を構成する文字列の左側に移動した場合や、「下図」で参照されている図面が、「下図」を構成する文字列の上方に移動した場合である。
【0008】
つまり、図面の位置を指し示す文字列と、レイアウト変更を伴う編集処理後の図面の位置との関係が不一致となり、矛盾が生じる場合もある。このことは、資料としての価値が低下する問題を生じる。
【0009】
一方、特開平8−255160号に記載の方法は、図面番号および図面の位置を指し示す文字列を有しない新聞・雑誌などのレイアウトを対象としている。特開平10−228473号に記載の方法は、既存の図面番号および図面の位置を指し示す文字列を単に利用するものである。特開平11−85741号に記載の方法は、新たにの図面番号を割り付けるものである。つまり、上記公報に記載の方法によっては、この問題に対処することはできない。
【0010】
本発明は、このような従来の問題を解決するために成されたものであり、レイアウト変更処理が実行される場合において、図面の位置を指し示す文字列と図面の位置との整合性を維持できる画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体の提供を目的とする。
【0011】
【課題を解決するための手段】
上記目的を達成するための本発明は次のように構成される。
【0012】
(1)画像データに含まれる文字領域および/または図面のレイアウトを変更する画像処理装置において、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出する文字認識手段、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成する領域分離手段、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第1の図面位置指示語を検出する第1検出手段、
前記第1の図面位置指示語が指し示す方向、前記第1の図面位置指示語の座標位置、前記第1の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第1の図面位置指示語で位置を示された図面を検出する第2検出手段、
検出された前記第1の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第1の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブル、
前記文字領域および/または図面の配置を変更する配置変更手段、
前記配置変更に伴って、前記割当てテーブルの前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第1の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を更新する更新手段、
前記配置変更後における前記第1の図面位置指示語と前記第1の図面位置指示語に関連付けられた前記図面の位置関係を、認識する位置関係認識手段、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第2の図面位置指示語を生成し、前記第1の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットする指示語変更手段を有しており、
更新されかつ前記第2の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理装置。
【0013】
(2)前記第2検出手段は、前記第1の図面位置指示語が指し示す方向に基づいて、図面を検出することを特徴とする上記(1)に記載の画像処理装置。
【0014】
(3)画像データに含まれる文字領域および/または図面のレイアウトを変更する画像処理装置に適用される画像処理方法において、
前記画像処理装置の文字認識手段が、前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記画像処理装置の領域分離手段が、前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記画像処理装置の第1検出手段が、前記文字コードデータ中に含まれる図面位置を指し示す文字列である第1の図面位置指示語を検出するステップ、
前記画像処理装置の第2検出手段が、前記第1の図面位置指示語が指し示す方向、前記第1の図面位置指示語の座標位置、前記第1の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第1の図面位置指示語で位置を示された図面を検出するステップ、
前記画像処理装置の配置変更手段が、前記文字領域および/または図面の配置を変更するステップ、
前記画像処理装置の更新手段が、検出された前記第1の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第1の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第1の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記画像処理装置の位置関係認識手段が、前記配置変更後における前記第1の図面位置指示語と前記第1の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記画像処理装置の指示語変更手段が、前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第2の図面位置指示語を生成し、前記第1の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを有しており、
更新されかつ前記第2の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理方法。
【0015】
(4)画像データに含まれる文字領域および/または図面のレイアウトを変更する画像処理方法をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
前記プログラムは、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第1の図面位置指示語を検出するステップ、
前記第1の図面位置指示語が指し示す方向、前記第1の図面位置指示語の座標位置、前記第1の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第1の図面位置指示語で位置を示された図面を検出するステップ、
前記文字領域および/または図面の配置を変更するステップ、
検出された前記第1の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第1の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第1の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記配置変更後における前記第1の図面位置指示語と前記第1の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第2の図面位置指示語を生成し、前記第1の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを、前記コンピュータに実行させ、
更新されかつ前記第2の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【0016】
【発明の実施の形態】
次に、本発明に係る実施の形態を図面を参照して詳細に説明する。
【0017】
図1に示される画像処理システムは、画像処理装置10・コントローラ20・操作パネル30・画像入力装置40・第1出力装置50・第2出力装置60を有する。
【0018】
画像処理装置10は、文字認識部11・領域分離部12・ビットマップ処理部13・ベクタ変換部14・2値化部15・合成部16・メモリ17・フォーマット変換部18を有する。
【0019】
コントローラ20は、操作パネル30用のインターフェイス22・画像入力装置40用のインターフェイス23・第1出力装置50および第2出力装置60用のインターフェイス22・インターフェイス22〜24を制御する中央処理装置(CPU)21を有する。
【0020】
操作パネル30は、ユーザからの指示を入力するために使用される。画像入力装置40は、カラースキャナなどの画像読み取り装置である。第1出力装置50は、カラープリンタなどの画像形成装置であり、第2出力装置60は、例えば、ディスプレイ装置を備えたコンピュータであり、出力される画像データを表示・データ処理する装置である。
【0021】
次に、動作の流れに沿って、各部の機能を詳細に説明する。
【0022】
ユーザは、操作パネル30を使用して指示情報を入力する。指示情報は、例えば、動作開始指示やマニュアル設定項目の指示である。
【0023】
マニュアル設定項目は、倍率設定・Nin1処理の指定・レイアウト変更設定・整合処理の指定・後処理の選択・読み取りモード・出力形式の選択を含んでいる。
【0024】
Nin1処理は、複数枚の原稿画像を縮小・合成し、1頁の画像として出力する縮小レイアウト処理である。
【0025】
レイアウト変更設定においては、優先無し・文字優先・図面優先の3種類のモードのいずれか一つが選択可能である。文字優先は、文字領域が縮小される場合において、縮小後の文字サイズを所定値以下にしないためのモードである。図面優先は、画像が拡大される場合において、文字領域のサイズを一定に保つモードである。
【0026】
整合処理は、レイアウトが変更される場合において、図面の位置を指し示す文字列である指示語(図面位置指示語)と図面の位置との整合性を維持するための処理である。つまり、指示語に含まれる位置を表す文字と、レイアウト変更後の図面の位置との関係が不一致となり、矛盾が生じることを防ぐ処理である。
【0027】
後処理の選択は、文字認識部11および領域分離部12において分離された領域つまり文字領域・図形領域・写真領域に対し適用される後処理を選択するモードである。後処理は、文字認識部11における文字コード化、ビットマップ処理部13におけるビットマップ処理、ベクタ変換部14におけるベクタ変換、および2値化部15における2値化などを含む。
【0028】
読み取りモードは、画像入力装置40において原稿の画像をカラー画像として処理するカラーモードと、原稿の画像をモノクロ画像として処理するモノクロモードからなる。
【0029】
出力形式の選択は、フォーマット変換部18において作成される出力ファイルの形式を選択するモードである。出力形式は、文書ファイル形式・頁記述言語形式・文書表示用のファイル形式・画像を記憶するためのファイル形式などの汎用ファイル形式である。例えば、文書ファイル形式はリッチ・テキスト、頁記述言語のファイル形式はポストスクリプト、文書表示用のファイル形式はPDF(Portable Document Format)、画像を記憶するためのファイル形式はJPEG(Joint Photographic Experts Group)あるいはTIFF(Tagged Image File Format)である。
【0030】
次に、操作パネル30から指示情報は、インターフェイス22を経由して、コントローラ20に送信される。
【0031】
コントローラ20は、マニュアル設定項目の指示情報を受信した場合、マニュアル設定を画像処理装置10に入力する。さらに、コントローラ20は、動作開始指示を受信した場合、読み取りモード設定に従って、カラーモードあるいはモノクロモードでの画像読み取りの開始を、画像入力装置40に指示する。
【0032】
画像入力装置40は、コントローラ20からの動作開始指示に基づいて、原稿の画像を読み取る。生成された画像データは、コントローラ20のインターフェイス23を経由して、画像処理装置10の文字認識部11に送信される。
【0033】
文字認識部11は、画像データから文字領域を分離し、文字領域に存在する文字画像を抽出する。文字画像が除去された画像データは、領域分離部12に入力される。また、文字認識部11は、文字コードデータおよび位置情報からなる文字情報と色情報とを、文字画像から抽出する。位置情報は、X−Y座標・幅・長さ・文字数などを含んでいる。また、文字情報は、合成部16に入力される。ユーザによって出力領域の後処理として2値化が指定されている場合、文字領域は、2値化部15に入力される。
【0034】
領域分離部12は、画像データから図形領域と写真領域とを分離する。写真領域のデータは、X−Y座標・幅・長さなど位置情報が付加され、ビットマップ処理部13に入力される。一方、図形領域のデータは、位置情報が付加され、ベクタ変換部14に入力される。後処理が指定されている場合は、指定内容に従って、領域分割後の画像データは、ビットマップ処理部13またはベクタ変換部14あるいは2値化部15に入力される。
【0035】
ビットマップ処理部13は、写真領域のデータに対して、ビットマップ処理を適用する。ビットマップ処理においては、写真領域のデータは、エッジ補正・平滑化処理・MTF補正などの画像処理が適用される。そして、ビットマップデータおよび位置情報からなるビットマップ情報は、合成部16に入力される。ビットマップ処理部13は、ビットマップ処理が後処理として指定されている画像データに対しても、同様な処理を実行する。
【0036】
ベクタ変換部14は、図形領域のデータをベクタ変換し、ベクタデータを生成する。ベクタデータは、属性データと共に、合成部16に入力される。ベクタ変換は、網点によって構成される図形を、直線・円弧・ベジェ曲線などのベクタデータに変換することを意味する。属性データは、例えば、ベクタデータによって囲まれている閉領域の色・線幅・線種・線色・端点形状の特徴を抽出して得られるデータである。ベクタ変換部14は、ベクタ変換が後処理として指定されている画像データに対しても、同様な処理を実行する。
【0037】
2値化部15は、2値化処理が後処理として指定されている場合、文字認識部11および/または領域分離部12から入力される画像データを、2値化する。2値化データは、位置情報と共に合成部16に入力される。
【0038】
合成部16は、文字認識部11・ビットマップ処理部13・ベクタ変換部14・2値化部15からの入力データを合成する。合成データは、中間形式のデータに変換され、フォーマット変換部18に入力される。中間形式のデータは、合成データと出力形式のデータとの間の中間データであり、フォーマット変換部18における処理を容易にするために、生成される。さらに、合成部16は、マニュアル設定項目に従い、割当てテーブルを使用して整合処理を実行する。
【0039】
整合処理においては、レイアウト変更前の図面の位置を指し示す文字列である第1指示語と図面との対応関係が検出され、レイアウト変更に伴って第1指示語および図面の位置情報が更新され、前記対応関係および更新された第1指示語および図面の位置情報に基づいて、レイアウト変更後の図面の位置を指し示す文字列である第2指示語が生成され、第1指示語が第2指示語で置換される。第1指示語および第2指示語は、例えば、「右図」や「上図」である。
【0040】
割当てテーブルは、図2に示されるように、指示語欄・図面欄・挿入部欄・文書部欄を有する。指示語欄には、第1指示語および第2指示語が、検出文字列および置換文字列としてセットされる。図面欄には、第1指示語に対応する図面のデータのアドレスと当該図面の位置情報とがセットされる。挿入部欄には、第1指示語のデータのアドレスと位置情報とがセットされる。文書部欄には、文字領域に属する文字コードデータのアドレスと位置情報とがセットされる。
【0041】
メモリ17は、割当てテーブルおよび合成部16に対する入力データを記憶するために使用される。
【0042】
フォーマット変換部18は、中間形式のデータを、指定されている出力形式のデータに変換する。出力形式のデータは、インターフェイス24を経由して、第1出力装置50および/または第2出力装置60に入力される。
【0043】
例えば、第1出力装置50はデータを用紙に印刷し、第2出力装置60はデータを記憶すると共にモニタに表示する。
【0044】
次に、図3のフローチャートを参照し、整合処理を説明する。
【0045】
まず、画像データから文字領域が分離され(ステップS1)、文字情報が文字画像から抽出される(ステップS2)。文字画像を除去された画像データは、文字画像の周辺画素を用いて補間される(ステップS3)。次に、画像データから写真領域と図形領域とが分離される(ステップS4)。写真領域のデータは、ビットマップ処理が施され、また、図形領域のデータは、ベクタ変換処理が施される(ステップS5)。
【0046】
次に、文字情報・ビットマップ情報・ベクタデータに基づいて、割当てテーブルに関する第1関連付け処理が実行される(ステップS6)。第1関連付け処理は、レイアウト変更前の図面の位置を指し示す文字列である第1指示語と図面との対応関係を検出する処理である。次に、次頁の画像データが存在するか否かが判断される(ステップS7)。次頁があると判断される場合、プロセスはステップS1に戻る。次頁が存在しないつまり最終頁の処理が完了したと判断される場合、割当てテーブル更新処理が実行される(ステップS8)。割当てテーブル更新処理は、レイアウト変更に伴って第1指示語および図面の位置情報を更新する処理である。次に、第2関連付け処理が実行され、データ合成に使用される最終的な割当てテーブルが得られる(ステップS9)。第2関連付け処理は、前記対応関係および更新された第1指示語および図面の位置情報に基づいて、レイアウト変更後の図面の位置を指し示す文字列である第2指示語を生成し、第1指示語を第2指示語で置換する処理である。
【0047】
次に、割当てテーブルに基づいて、画像データが合成され(ステップS10)、画像データは、中間形式のデータに変換される(ステップS11)。中間形式のデータは、指定されている出力形式のデータに変換され(ステップS12)、出力される(ステップS13)。
【0048】
最後に、割当てテーブルに基づいて、次頁が存在するか否かが判断される(ステップS14)。次頁があると判断される場合、プロセスはステップS10に戻る。次頁が存在しないつまり最終頁の処理が完了したと判断される場合、処理は終了する。
【0049】
次に、図4のフローチャートを参照し、第1関連付け処理を説明する。
【0050】
まず、文字領域に属する文字コードデータは、メモリ17に記憶される(ステップS61)。文字コードデータのアドレスおよび位置情報は、割当てテーブルの文書部欄にセットされる(ステップS62)。次に、文字コードデータ中に含まれる第1指示語が検出され(ステップS63)、第1指示語のデータはメモリ17に記憶される(ステップS64)。次に、第1指示語は、検出文字列として割当てテーブルの指示語欄にセットされ(ステップS65)、第1指示語のアドレスおよび位置情報は、割当てテーブルの挿入部欄にセットされる(ステップS66)。
【0051】
次に、第1指示語が指し示す方向・第1指示語の座標位置・第1指示語の近傍に位置する写真領域のビットマップデータあるいは図形領域のベクタデータに基づいて、第1指示語に対応する図面が検出される(ステップS67)。検出図面のデータは、メモリ17に記憶される(ステップS68)。そして、検出図面のデータのアドレスおよび位置情報は、第1指示語と関連付けられて、割当てテーブルの図面欄にセットされる(ステップS69)。
【0052】
次に、第1指示語に関連付けされていないビットマップデータおよび/又はベクタデータからなる残余図面のデータは、メモリ17に記憶される(ステップS70)。残余図面のデータのアドレスおよび位置情報は、指示語と関連付けられることなく、割当てテーブルの図面欄に、セットされる(ステップS71)。
【0053】
次に、図5に示される画像を例に挙げて、第1関連付け処理を具体的に説明する。
【0054】
まず、文字領域81,82,83に存在する文字コードデータは、メモリ17の第1記憶域に記憶される。文字コードデータのアドレスおよび位置情報は、割当てテーブルの文書部欄にセットされる。なお、文字領域81,82,83のデータの先頭アドレスは、Cadr1,Cadr3,Cadr5で示される。
【0055】
次に、文字領域81,82,83の文字コードデータに含まれる「下図」・「右図」・「左図」が、第1指示語91,92,93として検出される。第1指示語91,92,93のデータは、メモリ17の第1記憶域に記憶される。また、第1指示語91,92,93は、検出文字列として割当てテーブルの指示語欄にセットされる。第1指示語91,92,93のアドレスおよび位置情報は、割当てテーブルの挿入部欄にセットされる。なお、第1指示語91,92,93のデータの先頭アドレスは、Cadr2,Cadr4,Cadr6で示される。
【0056】
次に、第1指示語91である「下図」が指し示す方向に位置する図形領域のベクタデータからなる図面71が、第1指示語91に対応する図面として、検出される。同様にして、第1指示語92,93に対応する図面として、写真領域のビットマップデータからなる図面72,73が検出される。図面71,72,73のデータは、メモリ17の第2記憶域に記憶される。図面71,72,73のアドレスおよび位置情報は、第1指示語91,92,93と関連付けられて、割当てテーブルの図面欄にセットされる。なお、図面71,72,73のデータの先頭アドレスは、Fadr1,Fadr2,Fadr3で示される。
【0057】
したがって、割当てテーブルには、図6に示されるようなデータがセットされることになる。
【0058】
次に、図7のフローチャートを参照し、割当てテーブル更新処理を具体的に説明する。なお、図5の画像において、文字領域81〜83を用紙の上方に配置して拡大すると共に、図形71〜73を用紙の下方に配置して縮小するレイアウト設定を例に挙げる。
【0059】
まず、文字領域81〜83のデータが統合され(ステップS81)、文字領域81〜83が配置される領域80の拡大率が算出される(ステップS82)。そして、拡大率およびレイアウト設定に基づいて、第2記憶域に記憶されている文字領域81〜83のデータが変更され、文書部欄のアドレスCadr3,Cadr5および位置情報が削除され、アドレスCadr1および位置情報が修正される(ステップS83)。なお、第1指示語91〜93のデータも同時に変更され、挿入部欄のアドレスCadr2,Cadr4,Cadr6および位置情報が修正される。また、修正後のアドレスは、Cadr1’,Cadr2’,Cadr4’,Cadr6’で示される。
【0060】
次に、図面71〜73が配置される領域つまり図面領域の縮小率が算出される(ステップS84)。そして、縮小率およびレイアウト設定に基づいて、第2記憶域に記憶されている図面71〜73のデータが変更され、図面欄のアドレスおよび位置情報が更新される(ステップS85)。また、修正後のアドレスは、Fadr1’〜Fadr3’で示される。
【0061】
以上の結果、図6に示される割当てテーブルのデータが更新され、図8に示される割当てテーブルが得られる。
【0062】
次に、図9のフローチャートを参照し、第2関連付け処理を説明する。
【0063】
まず、関連付されている第2指示語を有しない第1指示語が、選択され(ステップS91)、第1指示語の位置情報が読み出される(ステップS92)。次に、第1指示語に関連付されている文字領域および図面の位置情報が読み出される(ステップS93)。
【0064】
次に、文字領域および図面の位置情報に基づいて、第1指示語と図面との位置関係を検出するための処理が実行される(ステップS94)。次に、前記位置関係に基づいて、第2指示語が生成され(ステップS95)、当該第2指示語は、置換文字列として割当てテーブルの指示語欄にセットされる(ステップS96)。
【0065】
最後に、関連付されている第2指示語を有しない第1指示語の有無が判断される(ステップS97)。次の第1指示語が存在すると判断される場合、プロセスはステップS94に戻り、処理が繰り返される。一方、次の第1指示語が存在しないと判断される場合、プロセスは終了する。
【0066】
次に、図10および図11を参照し、第1指示語と図面との位置関係を検出するための処理を説明する。ただし、文字領域および図面の起点座標および長さを利用する場合を例に挙げる。
【0067】
まず、第1指示語94に関連付されているつまり第1指示語94が存在する文字領域84のY軸の値Ycと、第1指示語94に関連付されている図面74のY軸の値YFとが、比較される(ステップS941)。値Ycが、値YFより大きいと判断される場合、図面74は、文字領域84の上方向に位置していると見なされる(ステップS942)。したがって、ステップS95において生成される第2指示語は、「上図」となる。
【0068】
値Ycが、値YFと等しいあるいは小さいと判断される場合、更に、値Ycと文字領域84の長さの値Lcとの合算値Tと、値YFとが、比較される(ステップS943)。合算値Tが、値YFより小さいと判断される場合、図面74は、文字領域84の下方向に位置していると見なされる(ステップS944)。したがって、ステップS95において生成される第2指示語は、「下図」となる。
【0069】
合算値Tが、値YFと等しいあるいは大きいと判断される場合、更に、文字領域84のX軸の値Xcと、図面74のX軸の値XFとが、比較される(ステップS945)。値Xcが値XFより小さいと判断される場合、図面74は、文字領域84の右方向に位置していると見なされる(ステップS946)。したがって、ステップS95において生成される第2指示語は、「右図」となる。
【0070】
値Xcが値XFと等しいあるいは大きいと判断される場合、図面74は、文字領域84の左方向に位置していると見なされる(ステップS947)。したがって、ステップS95において生成される第2指示語は、「左図」となる。
【0071】
以上の結果、図12に示される割当てテーブルが得られる。そして、当該割当てテーブルに基づいて、データをメモリ17から読み出して合成することによって、図13に示される画像が出力される。つまり、レイアウト変更後の図面の位置を指し示す文字列である第2指示語101,102,103は、「下図」・「下図」・「下図」であり、図面71,72,73の位置と一致している。
【0072】
以上のように、レイアウト変更処理が実行される場合において、図面の位置を指し示す文字列である指示語と図面の位置との整合性を維持できる。したがって、指示語とレイアウト変更後の図面の位置との関係が不一致となり、矛盾が生じ、資料としての価値が低下する問題が、解消される。
【0073】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲の範囲内で種々改変することができる。
【0074】
例えば、Nin1処理や縦横用紙変換などのレイアウト変更処理にも適用可能である。この場合、レイアウト変更処理に依存する割当てテーブル更新処理が異なるだけで、第1および第2関連付け処理は、同様である。
【0075】
また、複数の機器から構成されるシステムに限定されず、例えば、デジタル複写機などのスタンドアロンの機器にも適用可能である。
【0076】
さらに、画像処理方法がプログラム化されたコードデータが記憶されているプログラム製品を、提供することで、コンピュータを画像処理装置として機能させることも可能である。なお、プログラム製品は、プログラムおよび当該プログラムが記憶されている記憶媒体を含んでいる。
【0077】
【発明の効果】
以上説明した本発明によれば、画像データに含まれる文字領域および/または図面のレイアウトを変更するレイアウト変更処理が実行される場合において、文字領域に存在する文字画像から抽出される文字コードデータ中に含まれる図面の位置を指し示す文字列である図面位置指示語と、図面の位置との整合性を維持できる。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係る画像処理システムのブロック図である。
【図2】 画像処理システムの画像処理装置における整合処理に使用される割当てテーブルの一例である。
【図3】 整合処理のフローチャートである。
【図4】 整合処理における第1関連付け処理のフローチャートである。
【図5】 入力画像の一例である。
【図6】 第1関連付け処理後の割当てテーブルの一例である。
【図7】 整合処理における割当てテーブル更新処理のフローチャートである。
【図8】 更新処理後の割当てテーブルの一例である。
【図9】 整合処理における第2関連付け処理のフローチャートである。
【図10】 第2関連付け処理における第1指示語と図面との位置関係を検出するための処理のフローチャートである。
【図11】 第1指示語と図面との位置関係を説明するための概念図である。
【図12】 第2関連付け処理後の割当てテーブルの一例である。
【図13】 出力画像の一例である。
【符号の説明】
10…画像処理装置、
11…文字認識部、
12…領域分離部、
13…ビットマップ処理部、
14…ベクタ変換部、
15…2値化部、
16…合成部、
17…メモリ、
18…フォーマット変換部、
20…コントローラ、
21…中央処理装置(CPU)、
22,23,24…インターフェイス、
30…操作パネル、
40…画像入力装置、
50…第1出力装置、
60…第2出力装置
71〜74…図面、
80〜84…文字領域、
91〜94…第1指示語(検出文字列)、
101〜103…第2指示語(置換文字列)。
Claims (4)
- 画像データに含まれる文字領域および/または図面のレイアウトを変更する画像処理装置において、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出する文字認識手段、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成する領域分離手段、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第1の図面位置指示語を検出する第1検出手段、
前記第1の図面位置指示語が指し示す方向、前記第1の図面位置指示語の座標位置、前記第1の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第1の図面位置指示語で位置を示された図面を検出する第2検出手段、
検出された前記第1の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第1の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブル、
前記文字領域および/または図面の配置を変更する配置変更手段、
前記配置変更に伴って、前記割当てテーブルの前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第1の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を更新する更新手段、
前記配置変更後における前記第1の図面位置指示語と前記第1の図面位置指示語に関連付けられた前記図面の位置関係を、認識する位置関係認識手段、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第2の図面位置指示語を生成し、前記第1の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットする指示語変更手段を有しており、
更新されかつ前記第2の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理装置。 - 前記第2検出手段は、前記第1の図面位置指示語が指し示す方向に基づいて、図面を検出することを特徴とする請求項1に記載の画像処理装置。
- 画像データに含まれる文字領域および/または図面のレイアウトを変更する画像処理装置に適用される画像処理方法において、
前記画像処理装置の文字認識手段が、前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記画像処理装置の領域分離手段が、前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記画像処理装置の第1検出手段が、前記文字コードデータ中に含まれる図面位置を指し示す文字列である第1の図面位置指示語を検出するステップ、
前記画像処理装置の第2検出手段が、前記第1の図面位置指示語が指し示す方向、前記第1の図面位置指示語の座標位置、前記第1の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第1の図面位置指示語で位置を示された図面を検出するステップ、
前記画像処理装置の配置変更手段が、前記文字領域および/または図面の配置を変更するステップ、
前記画像処理装置の更新手段が、検出された前記第1の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第1の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第1の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記画像処理装置の位置関係認識手段が、前記配置変更後における前記第1の図面位置指示語と前記第1の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記画像処理装置の指示語変更手段が、前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第2の図面位置指示語を生成し、前記第1の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを有しており、
更新されかつ前記第2の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とする画像処理方法。 - 画像データに含まれる文字領域および/または図面のレイアウトを変更する画像処理方法をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
前記プログラムは、
前記画像データから分離される文字領域に存在する文字画像から、文字コードデータおよび位置情報からなる文字情報を抽出するステップ、
前記文字領域が分離された前記画像データから、図面が配置される図形領域と写真領域とを分離し、位置情報が付加された図形領域のデータと写真領域のデータとを生成するステップ、
前記文字コードデータ中に含まれる図面位置を指し示す文字列である第1の図面位置指示語を検出するステップ、
前記第1の図面位置指示語が指し示す方向、前記第1の図面位置指示語の座標位置、前記第1の図面位置指示語の近傍に位置する前記写真領域のデータあるいは前記図形領域のデータに基づいて、前記写真領域あるいは前記図形領域に配置されかつ前記第1の図面位置指示語で位置を示された図面を検出するステップ、
前記文字領域および/または図面の配置を変更するステップ、
検出された前記第1の図面位置指示語がセットされる指示語欄と、検出された図面のデータのアドレスおよび位置情報が、検出された図面位置指示語と関連付けられてセットされる図面欄と、検出された前記第1の図面位置指示語のデータのアドレスおよび位置情報がセットされる挿入部欄と、前記文字コードデータのアドレスおよび位置情報がセットされる文書部欄とを有する割当てテーブルにおける前記図面欄にセットされている図面のデータのアドレスおよび前記図面の位置情報と、前記挿入部欄にセットされている前記第1の図面位置指示語のデータのアドレスおよび位置情報と、前記文書部欄にセットされている文字コードデータのアドレスおよび位置情報を、前記配置変更に伴って、更新するステップ、
前記配置変更後における前記第1の図面位置指示語と前記第1の図面位置指示語に関連付けられた前記図面の位置関係を認識するステップ、および、
前記位置関係に基づいて、前記配置変更後の前記図面の位置を指し示す文字列である第2の図面位置指示語を生成し、前記第1の図面位置指示語の替わりとして、前記割当てテーブルの前記指示語欄にセットするステップを、前記コンピュータに実行させ、
更新されかつ前記第2の図面位置指示語がセットされた前記割当てテーブルに基づいて、前記配置の変更後の画像データが合成される
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000277053A JP4599693B2 (ja) | 2000-09-12 | 2000-09-12 | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 |
US09/941,799 US20020031270A1 (en) | 2000-09-12 | 2001-08-30 | Image processing apparatus, image processing method, and computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000277053A JP4599693B2 (ja) | 2000-09-12 | 2000-09-12 | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002091950A JP2002091950A (ja) | 2002-03-29 |
JP4599693B2 true JP4599693B2 (ja) | 2010-12-15 |
Family
ID=18762434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000277053A Expired - Fee Related JP4599693B2 (ja) | 2000-09-12 | 2000-09-12 | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20020031270A1 (ja) |
JP (1) | JP4599693B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7340092B2 (en) * | 2001-12-21 | 2008-03-04 | Minolta Co., Ltd. | Image processing device, image processing method, program for executing image processing, and computer readable recording medium on which the program is stored |
JP4712437B2 (ja) * | 2005-05-13 | 2011-06-29 | パナソニック株式会社 | 情報処理端末 |
JP2007316849A (ja) * | 2006-05-24 | 2007-12-06 | Canon Inc | 情報処理装置、情報処理システム、及びその制御方法、プログラム、記憶媒体 |
JP4963887B2 (ja) * | 2006-07-19 | 2012-06-27 | シャープ株式会社 | 表示データ生成装置、表示データ生成方法及び表示データ生成用制御プログラム |
JP5538812B2 (ja) * | 2009-10-23 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN110533000A (zh) * | 2019-09-06 | 2019-12-03 | 厦门美图之家科技有限公司 | 人脸图像检测方法、装置、计算机设备和可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04260166A (ja) * | 1991-02-15 | 1992-09-16 | Canon Inc | 文書処理装置及び文書処理方法 |
JPH10228473A (ja) * | 1997-02-13 | 1998-08-25 | Ricoh Co Ltd | 文書画像処理方法、文書画像処理装置および記憶媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4739477A (en) * | 1984-08-30 | 1988-04-19 | International Business Machines Corp. | Implicit creation of a superblock data structure |
JP2592245B2 (ja) * | 1987-04-07 | 1997-03-19 | キヤノン株式会社 | データ処理装置 |
JP2579397B2 (ja) * | 1991-12-18 | 1997-02-05 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 文書画像のレイアウトモデルを作成する方法及び装置 |
US5335290A (en) * | 1992-04-06 | 1994-08-02 | Ricoh Corporation | Segmentation of text, picture and lines of a document image |
US5592574A (en) * | 1992-04-06 | 1997-01-07 | Ricoh Company Ltd. | Method and apparatus for expansion of white space in document images on a digital scanning device |
US5821929A (en) * | 1994-11-30 | 1998-10-13 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JPH11120185A (ja) * | 1997-10-09 | 1999-04-30 | Canon Inc | 情報処理装置及びその方法 |
JP4170441B2 (ja) * | 1997-11-28 | 2008-10-22 | 富士通株式会社 | 文書画像傾き検出装置および文書画像傾き検出プログラムの記憶媒体 |
US6711292B2 (en) * | 1998-12-30 | 2004-03-23 | Canon Kabushiki Kaisha | Block selection of table features |
JP2001016447A (ja) * | 1999-06-30 | 2001-01-19 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
US6546385B1 (en) * | 1999-08-13 | 2003-04-08 | International Business Machines Corporation | Method and apparatus for indexing and searching content in hardcopy documents |
JP3747737B2 (ja) * | 2000-05-10 | 2006-02-22 | 日本電気株式会社 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
-
2000
- 2000-09-12 JP JP2000277053A patent/JP4599693B2/ja not_active Expired - Fee Related
-
2001
- 2001-08-30 US US09/941,799 patent/US20020031270A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04260166A (ja) * | 1991-02-15 | 1992-09-16 | Canon Inc | 文書処理装置及び文書処理方法 |
JPH10228473A (ja) * | 1997-02-13 | 1998-08-25 | Ricoh Co Ltd | 文書画像処理方法、文書画像処理装置および記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20020031270A1 (en) | 2002-03-14 |
JP2002091950A (ja) | 2002-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5033277B2 (ja) | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 | |
JP4251629B2 (ja) | 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP4181892B2 (ja) | 画像処理方法 | |
JP5111268B2 (ja) | 画像処理装置、画像処理方法、そのプログラムおよび記憶媒体 | |
JP4405831B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
EP2264995B1 (en) | Image processing apparatus, image processing method, and computer program | |
JP4502385B2 (ja) | 画像処理装置およびその制御方法 | |
US9710524B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
JPH10162150A (ja) | ページ解析システム | |
JP2007174270A (ja) | 画像処理装置、画像処理方法、記憶媒体、プログラム | |
JP4574313B2 (ja) | 画像処理装置および方法 | |
JP7337612B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP4217575B2 (ja) | 画像処理装置、画像処理方法ならびにプログラム、記憶媒体 | |
JP4599693B2 (ja) | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 | |
JP2006262442A (ja) | 画像編集装置と画像編集方法 | |
US20100070854A1 (en) | Device for editing metadata of divided object | |
US20090290797A1 (en) | Image processing for storing objects separated from an image in a storage device | |
JP4924990B2 (ja) | 文書処理装置および文書処理プログラム | |
JPH10162024A (ja) | 電子ファイリング方法及び電子ファイリング装置 | |
JP2006134042A (ja) | 画像処理システム | |
JP4501731B2 (ja) | 画像処理装置 | |
JP3424942B2 (ja) | 対訳画像形成装置 | |
JPH05342325A (ja) | 文書処理装置およびその装置のためのフォーム登録装置 | |
JPH06187333A (ja) | 文書作成装置 | |
JP2004178107A (ja) | 帳票処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040423 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070604 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100913 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |