[go: up one dir, main page]

JP2019086836A - Data fetch system - Google Patents

Data fetch system Download PDF

Info

Publication number
JP2019086836A
JP2019086836A JP2017211986A JP2017211986A JP2019086836A JP 2019086836 A JP2019086836 A JP 2019086836A JP 2017211986 A JP2017211986 A JP 2017211986A JP 2017211986 A JP2017211986 A JP 2017211986A JP 2019086836 A JP2019086836 A JP 2019086836A
Authority
JP
Japan
Prior art keywords
data
processing unit
identification information
identity identification
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017211986A
Other languages
Japanese (ja)
Other versions
JP6360956B1 (en
Inventor
哲也 喜多
Tetsuya Kita
哲也 喜多
健史 赤西
Kenji Akanishi
健史 赤西
晃司 内田
Koji Uchida
晃司 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osk Co Ltd
Original Assignee
Osk Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osk Co Ltd filed Critical Osk Co Ltd
Priority to JP2017211986A priority Critical patent/JP6360956B1/en
Application granted granted Critical
Publication of JP6360956B1 publication Critical patent/JP6360956B1/en
Publication of JP2019086836A publication Critical patent/JP2019086836A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a data fetch system for fetching data.SOLUTION: A data fetch system for fetching data comprises: a fetch history information storage unit which stores identity identification information based on a data file describing the data which was fetched or is being fetched; a comparison processing unit which compares whether or not the identity identification information which matches the identity identification information generated based on the data file describing the data to be fetched exists, with reference to the fetch history information storage unit; and a fetch processing unit which executes fetch processing of the data in the data file to be fetched, when determining that the matching identity identification information does not exist in the comparison processing unit.SELECTED DRAWING: Figure 1

Description

本発明は,データを取り込むためのデータ取込システムに関する。   The present invention relates to a data acquisition system for acquiring data.

企業などでは,さまざまな業務が行われており,その業務遂行を管理するためのコンピュータシステムが用いられている。このコンピュータシステムは,業務システムと一般的に呼ばれている。業務システムでは,システム更新などのさまざまな場面において,業務システムで管理するデータを,所定のデータ項目の配置にしたがって,テキスト形式などの所定のデータ形式(データフォーマット)のデータファイルで出力をし,出力したデータファイルを読み込むことで,データを取り込むことが行われる。   In a company or the like, various tasks are performed, and computer systems are used to control the performance of the tasks. This computer system is generally called a business system. The business system outputs data managed by the business system in a data file of a predetermined data format (data format) such as text format according to the arrangement of predetermined data items in various situations such as system update, Data is taken in by reading the output data file.

データを取り込む際に,同一内容のデータをすでに取り込んでいるにもかかわらず,再度,同じデータを取り込んでしまう可能性がある。とくに業務システムは複数のユーザが使用をするため,あるユーザがすでに取り込んでいるにもかかわらず,別のユーザが同一のデータを取り込む可能性がある。   When acquiring data, although the same content data is already acquired, the same data may be acquired again. In particular, since a business system is used by multiple users, there is a possibility that another user may capture the same data although one user has already captured it.

そこでデータの重複取込を防止するためのシステムが下記特許文献1に開示されている。   Therefore, a system for preventing duplicate data acquisition is disclosed in Patent Document 1 below.

特開2016−126489号公報JP, 2016-126489, A

特許文献1に開示するシステムでは,データファイルにおけるデータを直接,比較するため,重複取込の判定処理に時間を要することとなり,データ取込に時間を要してしまう。また,比較のために,取り込む対象となったデータファイルまたはすべてのデータを保持しておく必要があり,記憶容量を圧迫する問題点があった。   In the system disclosed in Patent Document 1, since the data in the data file is directly compared, it takes time for the determination processing of duplicate capture, and it takes time for data capture. In addition, for comparison, it is necessary to hold the data file or all the data to be taken in, which causes a problem of reducing the storage capacity.

そこで本発明者は,上記問題点に鑑み,重複取込の判定処理の時間を短くし,また取り込む対象となったデータファイルまたはデータの保持も不要とすることで記憶容量を節約できるデータ取込システムを発明した。   Therefore, in view of the above-mentioned problems, the present inventor shortens the time of determination processing of duplicate loading, and saves data storage capacity by eliminating the need to hold data files or data to be loaded. Invented the system.

第1の発明は,データを取り込むためのデータ取込システムであって,前記データ取込システムは,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,前記取込履歴情報記憶部を参照して比較する比較処理部と,前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部と,を有するデータ取込システムである。   A first invention is a data acquisition system for acquiring data, wherein the data acquisition system stores identity identification information based on a data file describing data which has been acquired or is being acquired. Referring to the import history information storage unit, whether there is identity identification information that matches the identity identification information generated based on the import history information storage unit and the data file describing the data to be imported is referred to. A comparison processing unit to compare data, and a capture processing unit that executes capture processing of data of a data file to be captured when it is determined in the comparison processing unit that there is no identical identity identification information , Is a data acquisition system.

本発明のように,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を取込履歴として記憶しておき,その取込履歴における同一性識別情報と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報とが一致するかを比較することで,重複登録を判定することで,取り込む対象となったデータファイルまたはすべてのデータを保持しておく必要がなくなる。また重複取込の判定(比較)の処理時間を短くできる。そのため,データ取込に要する時間を短くし,また記憶容量を節約することができる。   Like the present invention, identity identification information based on a data file that describes captured data or data being captured is stored as a capture history, and identity identification information in the capture history and a capture target The data file or all the data to be taken in is held by determining whether duplicate registration is in agreement by comparing the identity identification information generated based on the data file that describes the data to be There is no need to keep it. In addition, the processing time of the determination (comparison) of duplicate capture can be shortened. Therefore, the time required for data acquisition can be shortened and the storage capacity can be saved.

上述の発明において,前記データ取込システムは,さらに,前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部,を有するデータ取込システムのように構成することができる。   In the above-described invention, the data acquisition system further includes a warning processing unit that displays a predetermined warning when the comparison processing unit determines that there is identical identity identification information. It can be configured as a system.

本発明のように構成することで,同一内容のデータを取り込む際に,ユーザに対して注意を促すことができる。   According to the configuration of the present invention, the user can be alerted when the data having the same content is taken.

上述の発明において,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,データ取込システムのように構成することができる。   In the above-described invention, when the warning processing unit receives a selection to continue the acquisition processing as a result of the warning display, the warning processing unit causes the comparison processing unit to execute the comparison processing of the identity identification information again. It can be configured like an embedded system.

上述の発明において,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象として,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,データ取込システムのように構成することができる。   In the above-described invention, when the warning processing unit receives a selection of continuing the loading process as a result of the warning display, the warning processing unit receives an operation date and time of the loading history corresponding to the identity identification information matched in the previous comparison. The present invention can be configured as a data acquisition system in which the comparison processing of the sameness identification information in the comparison processing unit is executed again with the later date and time as the comparison target.

すでに取り込んでいるデータであっても,そのデータの保存を失念した,データを消去してしまったなどの各種事情によって,再度,取り込みたい場合もある。その場合,そのまま取込の処理を実行してもよいが,取り込む前に,再度,同一性識別情報の比較処理を実行することが好ましい。比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためである。   Even if it is data that has already been imported, there are cases where it is desirable to import again due to various reasons such as forgetting the storage of the data or deleting the data. In that case, the process of loading may be performed as it is, but before loading, it is preferable to execute comparison processing of identity identification information again. This is because there is a possibility that another user may be processing to acquire the same data until the continuation operation of the acquisition processing for the warning after the comparison processing.

その場合,再度の比較処理は,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象とする。取込処理を継続する場合において問題となるのは,前回の比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためであり,その間の取込履歴だけを比較すれば十分だからである。これによって無駄な比較処理や警告表示を防止できる。   In that case, the comparison processing in the second comparison sets the date and time after the operation date and time of the import history corresponding to the identity identification information matched in the previous comparison as the comparison target. The problem in continuing the loading process may be that another user may be loading the same data after the previous comparison process until the continuation operation of the loading process for the warning. This is because it is sufficient to compare only the acquisition history between them. This can prevent unnecessary comparison processing and warning display.

上述の発明において,前記比較処理部は,前記比較処理を行う間は,前記取込処理部における取込処理を行わせない排他制御をする,データ取込システムのように構成することができる。   In the above invention, the comparison processing unit may be configured as a data acquisition system in which exclusive control is performed so that the acquisition processing is not performed in the acquisition processing unit while the comparison processing is performed.

比較処理を行っている最中に,同一内容のデータの取込処理が別のユーザによって行われてしまうと,比較漏れが発生し,重複登録となってしまう。そのため,本発明のように,比較処理をしている間は取込処理を行わせない排他制御をすることで,比較漏れの発生を防止できる。   If, during the comparison process, another user takes in the data of the same content, a comparison omission will occur, resulting in duplicate registration. Therefore, as in the present invention, the occurrence of comparison leakage can be prevented by performing exclusive control in which the acquisition process is not performed while the comparison process is performed.

上述の発明において,前記データ取込システムは,さらに,取込対象となるデータファイルのデータに基づいて同一性識別情報を生成する同一性識別情報生成処理部,を有しており,前記同一性識別情報はハッシュ関数により生成されるハッシュ値である,データ取込システムのように構成することができる。   In the above-described invention, the data acquisition system further includes an identity identification information generation processing unit for generating identity identification information based on data of a data file to be acquired, and the identity The identification information is a hash value generated by a hash function, and can be configured as a data acquisition system.

同一性識別情報としてハッシュ値を用いることが好ましい。   Preferably, a hash value is used as the identity identification information.

上述の各発明におけるデータ取込システムは,業務システムの一機能として機能してもよい。   The data acquisition system in each of the above-described inventions may function as one function of the business system.

第1の発明のデータ取込システムは,本発明のプログラムをコンピュータに読み込ませて実行することで,実現することができる。すなわち,コンピュータを,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部を参照して比較する比較処理部,前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部,として機能させるデータ取込プログラムである。   The data acquisition system of the first invention can be realized by causing a computer to read and execute the program of the present invention. That is, the computer describes the data which has already been read or is being read, whether or not there is identity identification information which matches the identity identification information generated based on the data file describing the data to be read. A comparison processing unit that refers to a capture history information storage unit that stores identity identification information based on a data file; and a comparison processing unit that performs comparison when the comparison processing unit determines that there is no matching identity identification information. It is a data acquisition program that functions as an acquisition processing unit that executes data acquisition processing of a target data file.

本発明のデータ取込システムでは,取込対象となるデータファイルに基づく同一性識別情報を比較することから,データを直接比較する場合などの従来技術と比較して,重複取込の判定処理が短時間で行える。そのため,データ取込の処理に要する時間を短時間とし,また取り込む対象となったデータファイルまたはデータの保持も不要とすることで記憶容量を節約することができる。   Since the data acquisition system of the present invention compares identity identification information based on the data file to be acquired, the determination processing of duplicate acquisition is compared to the prior art such as direct comparison of data. It can do in a short time. Therefore, the storage capacity can be saved by shortening the time required for data acquisition processing and eliminating the need to hold the data file or data to be acquired.

本発明のデータ取込システムの全体のシステム構成の一例を模式的に示す図である。It is a figure showing typically an example of the whole system configuration of the data acquisition system of the present invention. 本発明のデータ取込システムを機能させるコンピュータのハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware constitutions of the computer which makes the data acquisition system of this invention function. 本発明のデータ取込システムの処理プロセスの一例を示すフローチャートである。It is a flowchart which shows an example of the processing process of the data acquisition system of this invention. 取込履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows an example of a taking-in history information storage part typically. 取込画面の一例を模式的に示す図である。It is a figure showing typically an example of a taking-in screen. 取り込む対象のデータファイルを指定した状態の取込画面の一例を模式的に示す図である。It is a figure which shows typically an example of the taking-in screen of the state which designated the data file of the object to take in. データファイルのデータを取り込んだ状態の取引履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows typically an example of the transaction log | history information storage part of the state which took in the data of the data file. 別のユーザが取り込む対象のデータファイルを指定した状態の取込画面の一例を模式的に示す図である。It is a figure which shows typically an example of the taking-in screen of the state which designated the data file of another user to take in. 警告画面の一例を模式的に示す図である。It is a figure which shows an example of a warning screen typically. データファイルのデータを取り込んでいる状態の取引履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows typically an example of the transaction log | history information storage part of the state which has taken in the data of the data file. データファイルのデータを取り込んだ状態の取引履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows typically an example of the transaction log | history information storage part of the state which took in the data of the data file.

本発明のデータ取込システム1のシステム構成の一例を図1に模式的に示す。また,データ取込システム1が機能するコンピュータのハードウェア構成の一例を図2に模式的に示す。図1では,データ取込システム1の機能が,ユーザ端末3とサーバ2とに分かれている場合を示しているが,データ取込システム1の各機能は,一台のコンピュータで機能してもよいし,その各機能が適宜,複数台のコンピュータで機能してもよい。本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。   An example of a system configuration of the data acquisition system 1 of the present invention is schematically shown in FIG. Further, an example of a hardware configuration of a computer in which the data acquisition system 1 functions is schematically shown in FIG. Although FIG. 1 shows the case where the functions of the data acquisition system 1 are divided into the user terminal 3 and the server 2, each function of the data acquisition system 1 may function with one computer. The respective functions may be suitably operated by a plurality of computers. The respective means in the present invention may only logically distinguish their functions, and may physically or virtually form the same area.

データ取込システム1は,業務システム(図示せず)の一機能として機能することが好ましいが,業務システムとは別のシステムと連携して,あるいは独立して機能することもできる。業務システムとは,企業の業務遂行を管理するためのコンピュータシステムである。業務システムにはさまざまなシステムがあり,その限定はないが,たとえば,人事,給与,財務会計,販売,購買等などを行うためのコンピュータシステムが一例としてあげられる。また業務システムはグループウェアシステムに組み込まれていても良い。グループウェアシステムは,企業の業務遂行を管理するためのコンピュータシステムであって,企業内のコンピュータネットワークを利用して,情報の共有などを行うことで,複数人での作業を行うことを支援するコンピュータシステムである。グループウェアシステムにもさまざまなシステムがあり,その限定はない。   The data acquisition system 1 preferably functions as one function of a business system (not shown), but can also function in cooperation with or independent of a system other than the business system. The business system is a computer system for managing the business execution of a company. There are various systems in the business system, and there is no limitation, but for example, a computer system for performing personnel affairs, salary, financial accounting, sales, purchasing etc. is mentioned as an example. The business system may be incorporated into a groupware system. A groupware system is a computer system for managing the business execution of a company, and supports multiple people's work by sharing information etc. using a computer network in the company. It is a computer system. There are various systems in groupware systems, and there is no limitation.

データ取込システム1におけるサーバ2やユーザ端末3は,コンピュータによって実現される。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,ディスプレイなどの表示措置72と,キーボードやポインティングデバイス(マウスやテンキーなど)などの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。   The server 2 and the user terminal 3 in the data acquisition system 1 are realized by a computer. The computer includes an arithmetic device 70 such as a CPU that executes arithmetic processing of programs, a storage device 71 such as a RAM or hard disk that stores information, a display device 72 such as a display, a keyboard or pointing device (such as a mouse or ten keys) And the like, and a communication device 74 for transmitting and receiving the processing result of the arithmetic device 70 and the information stored in the storage device 71 via the network such as the Internet or LAN.

本発明の業務システムは,企業や社団,財団,学校などの各種法人のほか,各種の組織体で用いられる。その業務としてはその組織体ごとに適したものを用いることができる。   The business system of the present invention is used in various organizations as well as various corporations such as companies, corporations, foundations, schools and the like. As the work, a thing suitable for every organization can be used.

データ取込システム1は,データファイル指定処理部31と同一性識別情報生成処理部32と取込履歴情報記憶部21と受付処理部22と比較処理部23と取込処理部24と警告処理部25とを有する。   The data acquisition system 1 includes a data file specification processing unit 31, an identity identification information generation processing unit 32, an acquisition history information storage unit 21, an acceptance processing unit 22, a comparison processing unit 23, an acquisition processing unit 24, and a warning processing unit. And 25.

データファイル指定処理部31は,取り込む対象となるデータを記述するデータファイル(たとえばテキストファイル)の指定を受け付ける。なお,データファイル指定処理部31は,データファイルの指定を受け付けてから,後述する同一性識別情報生成処理部32において同一性識別情報を生成するまでの間に,データファイルに対して前処理を行ってもよい。前処理としては,たとえばデータファイルが複数行(1行が1データまたは複数行が1データ)からなるテキストファイルである場合,各行を抽出して複数データに変換する,データファイルから空白行を削除して新規のデータファイルとするなどの処理がある。前者の場合,1データごとに同一性識別情報を生成することができる。また後者の場合,空白行のみが異なるデータファイルであっても同一のファイルと判断することができる。複数行が1データの場合など,1行が1データでない場合であっても,たとえば1データの範囲をユーザに指定させることなどにより,複数データに変換することができる。   The data file specification processing unit 31 receives specification of a data file (for example, a text file) that describes data to be captured. The data file specification processing unit 31 performs preprocessing on the data file from the time when the specification of the data file is received until the generation of the sameness identification information in the sameness identification information generation processing unit 32 described later. You may go. As preprocessing, for example, when the data file is a text file consisting of multiple lines (one line is one data or multiple lines is one data), each line is extracted and converted to multiple data, and blank lines are deleted from the data file Processing such as creating a new data file. In the former case, identity identification information can be generated for each piece of data. In the latter case, even if the data file is different only in the blank line, it can be judged as the same file. Even in the case where one row is not one data, such as when multiple rows are one data, conversion to multiple data can be performed by, for example, allowing the user to specify a range of one data.

同一性識別情報生成処理部32は,データファイル指定処理部31で指定を受け付けたデータファイルに基づいて,同一性識別情報を生成する。たとえば指定を受け付けたデータファイルに記述されるデータについてハッシュ関数を用いてハッシュ値を生成する。この場合,ハッシュ値が同一性識別情報となる。データファイルに基づく同一性識別情報とは,データファイルのファイル名や更新日時などのメタデータは含まず,データファイルのデータ自体(データファイルに記述されるデータの一部または全部)を引数として,ハッシュ関数などの所定の関数で演算して生成する値を指す。関数としては,単射となることが好ましいが,それに限定しない。なお,データファイルが複数行(1行が1データまたは複数行が1データ)からなるデータを記述するテキストファイルである場合,その各データについて同一性識別情報を生成する処理を実行してもよい。   The identity identification information generation processing unit 32 generates identity identification information based on the data file specified by the data file specification processing unit 31. For example, a hash value is generated for data described in the data file for which specification has been received using a hash function. In this case, the hash value is the identity identification information. Identity identification information based on a data file does not include metadata such as the file name of the data file and the update date and time, but the data itself (part or all of the data described in the data file) is an argument, It refers to the value generated by computing with a predetermined function such as a hash function. As a function, although it is preferable that it becomes injection, it does not limit to it. If the data file is a text file that describes data consisting of multiple lines (one line is one data or multiple lines is one data), processing may be performed to generate identity identification information for each item of data. .

取込履歴情報記憶部21は,データの取込履歴を記憶する。取込済のデータの取込履歴,取込中のデータの取込履歴を記憶することが好ましい。図4に取込履歴情報記憶部21の一例を模式的に示す。取込履歴としては,操作日時(取込日時),ログインID(取込操作をしたユーザのユーザ識別情報),データの取込を行ったか否かを示す状態の情報(「更新済」は取込済,「更新中」は取込中),同一性識別情報(ハッシュ値など),ファイル名(取り込むデータを記述するデータファイルのファイル識別情報),ファイル日時(取り込むデータを記述するデータファイル自体の保存日時)があるがこれらに限定するものではない。   The acquisition history information storage unit 21 stores the acquisition history of data. It is preferable to store the acquisition history of acquired data and the acquisition history of data being acquired. An example of the acquisition history information storage unit 21 is schematically shown in FIG. As the import history, operation date and time (import date and time), login ID (user identification information of the user who performed the import operation), status information indicating whether or not data import has been performed (“updated” is Loaded, "Updating" is loading), Identity identification information (Hash value etc.), File name (File identification information of the data file that describes the data to be imported), File date and time (Data file itself that describes the data to be imported) But there is no limitation to these.

なお,後述する取込処理部24における取込処理の終了後,さまざまな事情によってデータファイルに記述されたデータの取込が正常に行えなかった場合がある。この場合,取込件数が0件となる。そこで,取込件数が0件の場合,当該取込履歴を削除することがより好ましい。すなわち,すべてが空白行のデータファイルや,取込処理側が想定するレイアウトに即していないデータファイルであっても処理が行われる可能性がある。このようなデータファイルのデータを取り込む場合,実際にはデータを取り込むことはできないので,実際の取込件数は0件となる。一方,これらのようなデータファイルであっても,同一性識別情報は生成され,取込履歴は残ることとなる。そして,このような取込履歴を残した場合,再度,同じデータファイルのデータを取り込もうとしたときに,すでに取込済であることを示す警告が表示されてしまうと,実際には取り込まれていないにもかかわらず,取り込まれたかのような誤解がユーザに生じかねない。そこで,取込件数が0件の場合には,取込履歴を削除する。   It should be noted that after completion of the loading process in the loading processing unit 24 described later, there are cases where data loading described in the data file can not be normally performed due to various circumstances. In this case, the number of acquisitions is 0. Therefore, when the number of acquisitions is 0, it is more preferable to delete the acquisition history. That is, there is a possibility that processing may be performed even for data files that are all blank lines or data files that do not conform to the layout assumed by the capture processing side. When such data file data is fetched, it is not possible to actually fetch data, so the actual number of fetched data is zero. On the other hand, even with such data files, identity identification information is generated, and the acquisition history remains. Then, when such acquisition history is left, if you try to import the data of the same data file again, if a warning indicating that it has already been imported is displayed, it is actually imported. Although there is no such, misunderstanding as if it has been captured may occur to the user. Therefore, if the number of acquisitions is 0, the acquisition history is deleted.

受付処理部22は,データファイル指定処理部31で指定を受け付けたデータファイルに記述されるデータまたはデータファイルと,同一性識別情報生成処理部32で生成した同一性識別情報とを受け付ける。なお,受付処理部22は,データ指定ファイル指定処理部31で指定を受け付けたデータファイルのデータを,ユーザ端末3から受け付けることが好ましい。これにより,ネットワーク帯域の圧迫やサーバへの負荷を低減することができる。そのため,ユーザ端末3では,データファイル指定処理部31で指定を受け付けたデータファイルについて,そのデータファイルを読み込み,データファイルに記述されたデータをサーバ2に送信する。データの送信は,データを複数まとめて送信するようにしてもよい。たとえばデータが複数行(1行が1データまたは複数行が1データ)からなるデータファイルである場合,所定行ごとに送信するようにしてもよい。   The reception processing unit 22 receives the data or data file described in the data file specified by the data file specification processing unit 31 and the identity identification information generated by the identity identification information generation processing unit 32. Preferably, the reception processing unit 22 receives from the user terminal 3 the data of the data file for which the data specification file specification processing unit 31 receives the specification. This can reduce the load on the network bandwidth and the load on the server. Therefore, the user terminal 3 reads the data file for the data file whose specification has been received by the data file specification processing unit 31 and transmits the data described in the data file to the server 2. In data transmission, a plurality of data may be transmitted collectively. For example, when the data is a data file consisting of a plurality of lines (one line is one data or a plurality of lines is one data), transmission may be performed for each predetermined line.

比較処理部23は,受付処理部22で受け付けた同一性識別情報と,取込履歴情報記憶部21に記憶している同一性識別情報とを比較し,一致する同一性識別情報があるかを判定する。なお,比較チェックを行っている最中に同一のデータの取込処理が開始されると,重複登録の可能性が発生してしまうため,同一性識別情報の比較処理を行う前に,後述する取込処理部24における取込処理は一時中止し(排他制御を開始し),比較処理の終了後,取込処理部24における取込処理を再開させる(排他制御を終了する)。   The comparison processing unit 23 compares the identity identification information received by the reception processing unit 22 with the identity identification information stored in the acquisition history information storage unit 21 and determines whether there is a matching identity identification information. judge. If the same data acquisition process is started while comparison check is being performed, the possibility of duplicate registration will occur. Therefore, before performing the comparison process of identity identification information, it will be described later. The capture processing in the capture processing unit 24 is temporarily stopped (exclusive control is started), and after the comparison processing is finished, the capture processing in the capture processing unit 24 is resumed (exclusive control is finished).

取込処理部24は,比較処理部23における比較の結果,取込履歴情報記憶部21に一致する同一性識別情報がない場合に,操作日時,操作者(データの取込操作を行ったユーザのユーザ識別情報),同一性識別情報,ファイル名,ファイル日時などの取込履歴を取込履歴情報記憶部21に記憶させる。また,受付処理部22で受け付けたデータまたはデータファイルに記述されているデータを取り込む処理を実行する。   The acquisition processing unit 24 determines that the operation date and time, the operator (the user who performed the data acquisition operation when there is no identical identification information matching the acquisition history information storage unit 21 as a result of comparison in the comparison processing unit 23. (1) user identification information of (1), identity identification information, file name, file date and time, etc. Further, the reception processing unit 22 executes processing for taking in the data received in the data or the data file.

警告処理部25は,比較処理部23における比較の結果,取込履歴情報記憶部21に一致する同一性識別情報があった場合に,警告画面を表示させる。この場合,一致した取込履歴情報記憶部21の取込履歴の一部または全部の情報を警告画面に表示させてもよい。この警告画面では,同一内容のデータをすでに取り込んでいるか,取込中であることを通知し,それでも取込処理を継続するか否かの選択を受け付ける。継続することの選択を受け付けると,取込処理部24における取込処理を実行する。この際に,再度,比較処理部23における同一性識別情報の比較処理を実行するとよい。ただしこの場合の比較対象は,警告画面表示後に別のユーザが同一データの取込を行っている可能性に対するものであるので,前回の比較処理部23における比較処理で一致した同一性識別情報が対応する操作日付より後の同一性識別情報を対象として比較処理を実行する。   The warning processing unit 25 displays a warning screen when there is identicalness identification information matching the acquisition history information storage unit 21 as a result of comparison in the comparison processing unit 23. In this case, a part or all of the information of the acquisition history of the acquisition history information storage unit 21 that matches may be displayed on the warning screen. In this warning screen, it is notified that data of the same content has already been fetched, or that the data is being fetched, and still receives a selection as to whether or not to continue the fetching process. When the selection to continue is received, the capture processing in the capture processing unit 24 is executed. At this time, it is preferable to execute the comparison processing of the identity identification information in the comparison processing unit 23 again. However, since the comparison target in this case is for the possibility that another user is taking in the same data after the warning screen is displayed, the identity identification information matched in the comparison processing in the previous comparison processing unit 23 is The comparison process is executed on the identity identification information after the corresponding operation date.

警告処理部25は,警告画面において中止することの選択を受け付けると,取込処理を中止する。   When the warning processing unit 25 receives the selection to cancel on the warning screen, the warning processing unit 25 cancels the loading process.

つぎに本発明のデータ取込システム1の処理プロセスを,図3のフローチャートを用いて説明する。なお,処理の開始前の取込履歴情報記憶部21は図4の状態であったとする。   Next, the processing process of the data acquisition system 1 of the present invention will be described with reference to the flowchart of FIG. It is assumed that the acquisition history information storage unit 21 before the start of the process is in the state of FIG.

データの取込を行うことを所望するユーザ(USER_C)は,ユーザ端末3において所定の操作を実行する。この操作がユーザ端末3で行われると,データファイル指定処理部31は,図5に示す取込画面を表示させる。図5は仕訳明細を取り込む場合の取込画面の一例である。   A user (USER_C) who desires to fetch data executes a predetermined operation at the user terminal 3. When this operation is performed on the user terminal 3, the data file specification processing unit 31 displays a capture screen shown in FIG. FIG. 5 is an example of a capture screen in the case of capturing a journal entry.

ユーザは取込画面に対して所定の操作を行うことで,取り込む対象となるデータを記述するデータファイルを指定する(S100)。データファイルが指定された状態の取込画面の一例が図6である。図6では,ユーザ(USER_C)のユーザ端末3のデスクトップにある「20170924.txt」のデータファイルが指定された状態を示している。   The user performs a predetermined operation on the capture screen to specify a data file that describes data to be captured (S100). An example of the capture screen in the state where the data file is designated is shown in FIG. FIG. 6 shows a state in which the data file of "20170924.txt" on the desktop of the user terminal 3 of the user (USER_C) is designated.

そしてユーザが取込画面における「実行」ボタンを押下することで,同一性識別情報生成処理部32は,S100で指定されたデータファイル「20170924.txt」に対してハッシュ関数を用いて,ハッシュ値を生成する(S110)。ここで生成したハッシュ値が「A01DD213B9・・・」であったとする。なおハッシュ関数は,データファイルを引数としてハッシュ値を演算する。   Then, when the user presses the “execute” button on the capture screen, the sameness identification information generation processing unit 32 uses the hash function for the data file “20170924.txt” specified in S100 to obtain a hash value. Are generated (S110). It is assumed that the hash value generated here is “A01DD213B9. The hash function operates on a hash value with a data file as an argument.

そしてデータファイル指定処理部31は,S100で指定されたデータファイル「20170924.txt」と,同一性識別情報生成処理部32が生成したハッシュ値「A01DD213B9・・・」とをサーバ2に送り,サーバ2の受付処理部22でデータファイル「20170924.txt」に記述されたデータとハッシュ値「A01DD213B9・・・」とを受け付ける(S120)。この際に,指定されたデータファイルのファイル名「20170924.txt」やメタデータ,たとえばファイルの更新日時「20170924172045」などがユーザ端末3からサーバ2に送られ,サーバ2の受付処理部22で受け付ける。   Then, the data file specification processing unit 31 sends the data file "20170924.txt" specified in S100 and the hash value "A01DD213B9..." Generated by the identity identification information generation processing unit 32 to the server 2, The data described in the data file "20170924.txt" and the hash value "A01DD213B9..." Are received by the second reception processing unit 22 (S120). At this time, the file name “20170924.txt” of the specified data file and metadata, such as the file update date and time “20170924172045” are sent from the user terminal 3 to the server 2 and accepted by the reception processing unit 22 of the server 2 .

S120においてデータとハッシュ値とを受け付けると,比較処理部23は,排他制御を開始し(S130),受け付けたハッシュ値「A01DD213B9・・・」と同一のハッシュ値が取込履歴情報記憶部21に記憶されているかを比較する(S140)。図4の取込履歴情報記憶部21には,一致するハッシュ値がないことを判定する。そして比較処理の終了後,排他制御を終了する(S150)。   When the data and the hash value are received in S120, the comparison processing unit 23 starts exclusive control (S130), and the same hash value as the received hash value “A01DD213B9. Whether stored is compared (S140). It is determined that there is no matching hash value in the capture history information storage unit 21 of FIG. Then, after the end of the comparison processing, exclusive control is ended (S150).

ここでは,同一のハッシュ値が取込履歴情報記憶部21に記憶されていないので(S160),取込処理部24は,操作日時,操作者(データの取込操作を行ったユーザのユーザ識別情報),ハッシュ値「A01DD213B9・・・」,ファイル名「20170924.txt」,ファイル日時「20170924172045」などの取込履歴を取込履歴情報記憶部21に記憶させる。この状態の取込履歴情報記憶部21の一例を図7に示す。そして,データファイル「20170924.txt」のデータの取込処理を実行する(S170)。   Here, since the same hash value is not stored in the capture history information storage unit 21 (S160), the capture processing unit 24 checks the operation date and time, the operator (user identification of the user who performed the data capture operation. Information), a file name “20170924.txt”, file date and time “20170924172045”, and the like are stored in the taken-out history information storage unit 21. An example of the capture history information storage unit 21 in this state is shown in FIG. Then, the process of taking in data of the data file “20170924.txt” is executed (S170).

以上のようにして,データファイルに記述するデータの取込が正常に完了できる。   As described above, the acquisition of the data described in the data file can be completed normally.

つぎに別のユーザ(USER_A)が,先ほどのユーザ(USER_C)とは同一内容(同一データ)のデータファイルを取り込む場合を説明する。   Next, the case where another user (USER_A) takes in a data file having the same content (the same data) as the previous user (USER_C) will be described.

ユーザ(USER_A)は,そのユーザ端末3において所定の操作を実行し,取込画面(図5)を表示させる。そして,取り込む対象となるデータを記述するデータファイルを指定する(S100)。ユーザ(USER_A)がデータファイルを指定した状態の取込画面の一例が図8である。図8では,ユーザ(USER_A)のユーザ端末3のデスクトップにある「0924仕入.txt」のデータファイルが指定された状態を示している。   The user (USER_A) executes a predetermined operation on the user terminal 3 to display a capture screen (FIG. 5). Then, a data file describing data to be taken in is specified (S100). An example of the capture screen in a state where the user (USER_A) has specified a data file is shown in FIG. FIG. 8 shows a state in which the data file of “0924 purchase.txt” on the desktop of the user terminal 3 of the user (USER_A) is designated.

そしてユーザ(USER_A)が取込画面における「実行」ボタンを押下することで,同一性識別情報生成処理部32は,S100で指定されたデータファイル「0924仕入.txt」に対してハッシュ関数を用いて,ハッシュ値を生成する(S110)。ここで生成したハッシュ値が「A01DD213B9・・・」であったとする。   Then, when the user (USER_A) presses the "execute" button on the capture screen, the identity identification information generation processing unit 32 performs a hash function on the data file "0924 stock. Txt" designated in S100. The hash value is generated using (S110). It is assumed that the hash value generated here is “A01DD213B9.

そしてデータファイル指定処理部31は,S100で指定されたデータファイル「0924仕入.txt」と,同一性識別情報生成処理部32が生成したハッシュ値「A01DD213B9・・・」とをサーバ2に送り,サーバ2の受付処理部22でデータファイル「0924仕入.txt」に記述されたデータとハッシュ値「A01DD213B9・・・」とを受け付ける(S120)。この際に,指定されたデータファイルのファイル名「0924仕入.txt」やメタデータ,たとえばファイルの更新日時「20170924172045」などがユーザ端末3からサーバ2に送られ,サーバ2の受付処理部22で受け付ける。   Then, the data file specification processing unit 31 sends the data file "0924 stock. Txt" specified in S100 and the hash value "A01DD213B9 ... generated by the identity identification information generation processing unit 32 to the server 2. The reception processing unit 22 of the server 2 receives the data described in the data file "0924 stock. Txt" and the hash value "A01DD213B9 ..." (S120). At this time, the file name "0924 stock. Txt" of the specified data file and metadata, for example, the file update date and time "20170924172045" etc. are sent from the user terminal 3 to the server 2, and the reception processing unit 22 of the server 2 To accept.

S120においてデータとハッシュ値とを受け付けると,比較処理部23は,排他制御を開始し(S130),受け付けたハッシュ値「A01DD213B9・・・」と同一のハッシュ値が取込履歴情報記憶部21に記憶されているかを比較する(S140)。図7の取込履歴情報記憶部21には,一致するハッシュ値があることを判定する。そして比較処理の終了後,排他制御を終了する(S150)。   When the data and the hash value are received in S120, the comparison processing unit 23 starts exclusive control (S130), and the same hash value as the received hash value “A01DD213B9. Whether stored is compared (S140). The capture history information storage unit 21 in FIG. 7 determines that there is a matching hash value. Then, after the end of the comparison processing, exclusive control is ended (S150).

ここでは,同一のハッシュ値が取込履歴情報記憶部21に記憶されているので(S160),警告処理部25は,同一と判断した取込履歴の一部または全部の情報をユーザ端末3に送り,警告画面に表示させる(S180)。図9に警告画面の一例を示す。   Here, since the same hash value is stored in the capture history information storage unit 21 (S160), the warning processing unit 25 sends information on part or all of the capture history determined to be identical to the user terminal 3 The message is sent and displayed on the warning screen (S180). FIG. 9 shows an example of the warning screen.

ユーザはこの警告画面を閲覧することで,同一内容(同一データ)のデータファイルが取り込まれていることを認識できる。そして,取込処理を中止する場合には(S190),警告画面の「いいえ」を押下することで,取込処理を中止する情報がユーザ端末3からサーバ2に送られ,サーバ2は取込処理を中止する。   The user can recognize that the data file of the same content (the same data) is fetched by browsing the warning screen. Then, when canceling the loading process (S190), by pressing "No" on the warning screen, information for stopping the loading process is sent from the user terminal 3 to the server 2, and the server 2 is loaded Stop processing.

一方,すでに同一内容のデータファイルを取り込んでいたとしても,そのデータの保存を失念した,誤って削除したなどの事情から,再度,取込を行いたい場合もある。そのような場合には,取込処理を続行するので(S190),警告画面の「はい」を押下する。「はい」が押下されることで,取込処理を続行する情報がユーザ端末3からサーバ2に送られ,サーバ2の比較処理部23は,再度,比較処理を実行する。   On the other hand, even if a data file of the same contents has already been fetched, there are cases where it is desired to fetch the data again, for example, due to the fact that storage of the data was forgotten or accidentally deleted. In such a case, since the loading process is continued (S190), "Yes" on the warning screen is pressed. When "Yes" is pressed, information for continuing the acquisition processing is sent from the user terminal 3 to the server 2, and the comparison processing unit 23 of the server 2 executes the comparison processing again.

この際に,比較処理部23は,まず比較処理の比較対象として,前回の比較の際に一致した同一性識別情報が対応する取込履歴の操作日時(取込開始日時)(平成29年9月24日19時08分13秒)より後の日時を比較対象として設定し(S200),排他制御を開始する(S130)。そして,前回の比較処理で一致した同一性識別情報が対応する操作日時(取込開始日時)(平成29年9月24日19時08分13秒)より後の日時で,取込履歴情報記憶部21に一致する同一性識別情報があるかを比較する(S140)。そして排他制御を終了する(S150)。   At this time, the comparison processing unit 23 first sets the operation date and time of the import history corresponding to the identity identification information matched in the previous comparison as the comparison target of the comparison process (import start date and time) The date and time after 19:08:13 on the 24th of the month is set as the comparison target (S200), and exclusive control is started (S130). Then, at the date and time after the operation date and time (acquisition start date and time (September 24, 2017 19:08:13) corresponding to the identity identification information matched in the previous comparison processing, the acquisition history information storage Whether there is identity identification information that matches the part 21 is compared (S140). Then, the exclusive control is ended (S150).

ここでは,一致する同一性識別情報はないので(S160),取込処理部24は,操作日時,操作者(データの取込操作を行ったユーザのユーザ識別情報),ハッシュ値「A01DD213B9・・・」,ファイル名「0924仕入.txt」,ファイル日時「20170924172045」などの取込履歴を取込履歴情報記憶部21に記憶させる。この状態の取込履歴情報記憶部21の一例を図10に示す。そして,データファイル「0924仕入.txt」のデータの取込処理を実行する(S170)。なお,取込処理が完了するまでは,「状態」としては取込中であることを示す「更新中」が記憶される。そして取込処理の完了後,「状態」が取込中から取込が終了したことを示す「更新済」に変更して記憶される。この状態の取込履歴情報記憶部21の一例を図11に示す。   Here, since there is no identical identity identification information (S160), the loading processing unit 24 determines the date and time of operation, the operator (user identification information of the user who performed the loading operation of data), the hash value “A01DD213B9. “, File name“ 0924 stock. Txt ”, file date and time“ 20170924172045 ”and the like are stored in the read history information storage unit 21. An example of the capture history information storage unit 21 in this state is shown in FIG. Then, the process of taking in the data of the data file "0924 stock. Txt" is executed (S170). Note that “updating” is stored as “state” indicating that loading is in progress until the loading process is completed. Then, after completion of the loading process, the "state" is changed to "updated" indicating that loading is completed during loading. An example of the capture history information storage unit 21 in this state is shown in FIG.

以上のようにして,同一内容のデータファイルの場合であっても,データファイルに記述するデータの取込が正常に完了できる。   As described above, even in the case of data files having the same content, the data acquisition described in the data file can be completed normally.

つぎに実施例1の異なる実施態様として,実施例1のデータの取込処理を実行する前に,エラーチェック処理を実行してもよい。エラーチェック処理とは,取り込んだデータを用いる業務システムにおけるデータ項目の配置に適しているか,データ形式が一致しているかなどのチェックを行う処理である。   Next, as a different embodiment of the first embodiment, an error check process may be performed before the data acquisition process of the first embodiment is performed. The error check process is a process of checking whether the data item is suitable for arrangement of data items in the business system using the fetched data or whether the data format is matched.

そしてエラーチェック処理を行う場合にも,その前に実施例1と同様に同一性識別情報を用いて比較処理を実行することができる。   Also in the error check process, the comparison process can be executed using the identity identification information in the same manner as in the first embodiment.

この場合,ユーザ端末3の取込画面において,エラーチェックの処理対象となるデータファイルの指定を行う(S100)。そして,取込画面における「エラーチェック」のボタンが押下されると,同一性識別情報生成処理部32は,指定されたデータファイルに対してハッシュ関数を用いて,ハッシュ値を生成する(S110)。   In this case, a data file to be subjected to error check processing is designated on the capture screen of the user terminal 3 (S100). Then, when the “error check” button on the capture screen is pressed, the identity identification information generation processing unit 32 generates a hash value using the hash function for the designated data file (S110). .

そしてデータファイル指定処理部31は,指定されたデータファイルと,同一性識別情報生成処理部32が生成したハッシュ値とをサーバ2に送り,サーバ2の受付処理部22でデータとハッシュ値とを受け付ける(S120)。   Then, the data file specification processing unit 31 sends the specified data file and the hash value generated by the identity identification information generation processing unit 32 to the server 2, and the reception processing unit 22 of the server 2 transmits the data and the hash value. Accept (S120).

サーバ2の受付処理部22でデータとハッシュ値とを受け付けると,比較処理部23は,排他制御を開始し(S130),受け付けたハッシュ値と同一のハッシュ値が取込履歴情報記憶部21に記憶されているかを比較する(S140)。そして比較処理の終了後,排他制御を終了する(S150)。   When the reception processing unit 22 of the server 2 receives the data and the hash value, the comparison processing unit 23 starts exclusive control (S130), and the same hash value as the received hash value is stored in the acquisition history information storage unit 21. Whether stored is compared (S140). Then, after the end of the comparison processing, exclusive control is ended (S150).

同一のハッシュ値が取込履歴情報記憶部21に記憶されていない場合には(S160),データファイルにおけるデータのチェック処理を実行する(S170)。また,同一のハッシュ値が取込履歴情報記憶部21に記憶されている場合には(S160),図9に示す警告画面を表示し,実施例1と同様に,S180以降の処理を実行する。   If the same hash value is not stored in the acquisition history information storage unit 21 (S160), the data check process in the data file is executed (S170). If the same hash value is stored in the capture history information storage unit 21 (S160), the warning screen shown in FIG. 9 is displayed, and the processing of S180 and thereafter is executed as in the first embodiment. .

同一性識別情報生成処理部32が同一性識別情報を生成するタイミングは,実施例1,実施例2の場合に限られず,たとえばファイルが指定された段階,ユーザ端末3からサーバ2に送信された段階,サーバ2で受信した段階,比較処理部23における処理の直前など,比較処理部23における比較処理の前までの任意のタイミングで実行することができる。   The timing at which the identity identification information generation processing unit 32 generates the identity identification information is not limited to the case of the first embodiment and the second embodiment, and for example, is transmitted to the server 2 from the user terminal 3 when the file is designated. It is possible to execute at an arbitrary timing before the comparison processing in the comparison processing unit 23, such as the stage, the stage received by the server 2, immediately before the processing in the comparison processing unit 23, and the like.

本発明のデータ取込システム1を用いることによって,取込対象となるデータファイルにおけるデータに基づく同一性識別情報を比較することから,データを直接比較する場合などの従来技術と比較して,重複取込の判定処理が短時間で行える。そのため,データ取込の処理に要する時間を短時間とし,また取り込む対象となったデータファイルまたはデータの保持も不要とすることで記憶容量を節約することができる。   By using the data acquisition system 1 of the present invention, the identity identification information based on the data in the data file to be acquired is compared. It is possible to perform the determination processing of the loading in a short time. Therefore, the storage capacity can be saved by shortening the time required for data acquisition processing and eliminating the need to hold the data file or data to be acquired.

1:データ取込システム
2:サーバ
3:ユーザ端末
21:取込履歴情報記憶部
22:受付処理部
23:比較処理部
24:取込処理部
25:警告処理部
31:データファイル指定処理部
32:同一性識別情報生成処理部
70:演算装置
71:記憶装置
72:表示措置
73:入力装置
74:通信装置
1: Data acquisition system 2: Server 3: User terminal 21: Acquisition history information storage unit 22: Reception processing unit 23: Comparison processing unit 24: Acquisition processing unit 25: Warning processing unit 31: Data file specification processing unit 32 : Identity identification information generation processing unit 70: Arithmetic device 71: Storage device 72: Display measure 73: Input device 74: Communication device

第1の発明は,データを取り込むためのデータ取込システムであって,前記データ取込システムは,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,前記取込履歴情報記憶部を参照して比較する比較処理部と,前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部と,前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部と,を有しており,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行した上で,前記取込処理部における取込処理を実行する,データ取込システムである。
A first invention is a data acquisition system for acquiring data, wherein the data acquisition system stores identity identification information based on a data file describing data which has been acquired or is being acquired. Referring to the import history information storage unit, whether there is identity identification information that matches the identity identification information generated based on the import history information storage unit and the data file describing the data to be imported is referred to. A comparison processing unit to compare data, and a capture processing unit that executes capture processing of data of a data file to be captured when it is determined in the comparison processing unit that there is no identical identity identification information And a warning processing unit that displays a predetermined warning when the comparison processing unit determines that there is identical identity identification information, and the warning processing unit is configured to: , When accepting the selection of continuing the write process, again, in terms of executing the comparison process identity identification information in the comparison processing unit, executes the acquisition process in the acquisition processor, by the data acquisition system is there.

本発明のように,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を取込履歴として記憶しておき,その取込履歴における同一性識別情報と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報とが一致するかを比較することで,重複登録を判定することで,取り込む対象となったデータファイルまたはすべてのデータを保持しておく必要がなくなる。また重複取込の判定(比較)の処理時間を短くできる。そのため,データ取込に要する時間を短くし,また記憶容量を節約することができる。
また,本発明のように構成することで,同一内容のデータを取り込む際に,ユーザに対して注意を促すことができる。
さらに,すでに取り込んでいるデータであっても,そのデータの保存を失念した,データを消去してしまったなどの各種事情によって,再度,取り込みたい場合もある。その場合,そのまま取込の処理を実行してもよいが,取り込む前に,再度,同一性識別情報の比較処理を実行することが好ましい。比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためである。
Like the present invention, identity identification information based on a data file that describes captured data or data being captured is stored as a capture history, and identity identification information in the capture history and a capture target The data file or all the data to be taken in is held by determining whether duplicate registration is in agreement by comparing the identity identification information generated based on the data file that describes the data to be There is no need to keep it. In addition, the processing time of the determination (comparison) of duplicate capture can be shortened. Therefore, the time required for data acquisition can be shortened and the storage capacity can be saved.
Further, by adopting the configuration according to the present invention, it is possible to call the user's attention when capturing data of the same content.
Furthermore, even for data that has already been fetched, there are cases where it is desirable to fetch again due to various circumstances such as forgetting the storage of the data or erasing the data. In that case, the process of loading may be performed as it is, but before loading, it is preferable to execute comparison processing of identity identification information again. This is because there is a possibility that another user may be processing to acquire the same data until the continuation operation of the acquisition processing for the warning after the comparison processing.

上述の発明において,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象として,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,データ取込システムのように構成することができる。
In the above-described invention, when the warning processing unit receives a selection of continuing the loading process as a result of the warning display, the warning processing unit receives an operation date and time of the loading history corresponding to the identity identification information matched in the previous comparison. The present invention can be configured as a data acquisition system in which the comparison processing of the sameness identification information in the comparison processing unit is executed again with the later date and time as the comparison target .

すでに取り込んでいるデータであっても,そのデータの保存を失念した,データを消去してしまったなどの各種事情によって,再度,取り込みたい場合もある。その場合,そのまま取込の処理を実行してもよいが,取り込む前に,再度,同一性識別情報の比較処理を実行することが好ましい。比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためである。Even if it is data that has already been imported, there are cases where it is desirable to import again due to various reasons such as forgetting the storage of the data or deleting the data. In that case, the process of loading may be performed as it is, but before loading, it is preferable to execute comparison processing of identity identification information again. This is because there is a possibility that another user may be processing to acquire the same data until the continuation operation of the acquisition processing for the warning after the comparison processing.
その場合,再度の比較処理は,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象とする。取込処理を継続する場合において問題となるのは,前回の比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためであり,その間の取込履歴だけを比較すれば十分だからである。これによって無駄な比較処理や警告表示を防止できる。In that case, the comparison processing in the second comparison sets the date and time after the operation date and time of the import history corresponding to the identity identification information matched in the previous comparison as the comparison target. The problem in continuing the loading process may be that another user may be loading the same data after the previous comparison process until the continuation operation of the loading process for the warning. This is because it is sufficient to compare only the acquisition history between them. This can prevent unnecessary comparison processing and warning display.

上述の発明において,前記データ取込システムは,前記取込対象となるデータを記述するデータファイルの指定を受け付け,前記指定を受け付けたデータファイルに対して前処理を実行するデータファイル指定処理部,を有するデータ取込システムのように構成することができる。
In the above-described invention, the data acquisition system receives a specification of a data file that describes data to be acquired, and executes a pre-processing on the data file for which the specification has been received, Can be configured as a data acquisition system having

上述の発明において,前記データ取込システムは,前記取込履歴情報記憶部に記憶した取込履歴が0件の場合,その取込履歴を削除する,データ取込システムのように構成することができる。
In the above-described invention, the data acquisition system may be configured as a data acquisition system that deletes the acquisition history when the acquisition history stored in the acquisition history information storage unit is 0 cases. it can.

上述の発明において,前記データ取込システムは,前記取込処理部における前記取込対象となるデータファイルのデータの取込処理を実行する前に,前記取込対象となるデータに対してエラーチェック処理を実行する,データ取込システムのように構成することができる。
In the above invention, the data acquisition system performs an error check on the data to be acquired before the acquisition process of data of the data file to be acquired in the acquisition processing unit is performed. It can be configured as a data acquisition system that performs processing.

第1の発明のデータ取込システムは,本発明のプログラムをコンピュータに読み込ませて実行することで,実現することができる。すなわち,コンピュータを,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部を参照して比較する比較処理部,前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部,前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部,として機能させることを特徴とするデータ取込プログラムであって,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行した上で,前記取込処理部における取込処理を実行する,データ取込プログラムである。
The data acquisition system of the first invention can be realized by causing a computer to read and execute the program of the present invention. That is, the computer describes the data which has already been read or is being read, whether or not there is identity identification information which matches the identity identification information generated based on the data file describing the data to be read. A comparison processing unit that refers to a capture history information storage unit that stores identity identification information based on a data file; and a comparison processing unit that performs comparison when the comparison processing unit determines that there is no matching identity identification information. A loading processing unit that executes loading processing of data of a target data file, a warning processing unit that displays a predetermined warning when it is determined that there is identical identity identification information in the comparison processing unit, be made to function a data acquisition program characterized as the warning processing unit, the warning display results, it accepts the option of continuing the acquisition process again On executing the comparison process identity identification information in the comparison processing unit, executes the acquisition process in the acquisition process unit, a data acquisition program.

Claims (8)

データを取り込むためのデータ取込システムであって,
前記データ取込システムは,
取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部と,
取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,前記取込履歴情報記憶部を参照して比較する比較処理部と,
前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部と,
を有することを特徴とするデータ取込システム。
A data acquisition system for acquiring data,
The data acquisition system
A capture history information storage unit that stores identity identification information based on a data file that describes captured data or data being captured;
A comparison processing unit that compares whether there is identity identification information that matches the identity identification information generated based on the data file that describes the data to be captured, with reference to the capture history information storage unit; ,
A loading processing unit that executes loading processing of data of a data file to be loaded when it is determined in the comparison processing unit that there is no identical identity identification information;
The data acquisition system characterized by having.
前記データ取込システムは,さらに,
前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部,
を有することを特徴とする請求項1に記載のデータ取込システム。
Said data acquisition system further comprises
A warning processing unit that displays a predetermined warning when it is determined in the comparison processing unit that there is identical identity identification information;
The data acquisition system according to claim 1, comprising:
前記警告処理部は,
前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,
ことを特徴とする請求項2に記載のデータ取込システム。
The warning processing unit
As a result of the warning display, upon receipt of the selection to continue the loading process, the comparison processing unit executes the comparison processing of the identity identification information again,
The data acquisition system according to claim 2, characterized in that:
前記警告処理部は,
前記警告表示の結果,取込処理を継続することの選択を受け付けると,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象として,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,
ことを特徴とする請求項2に記載のデータ取込システム。
The warning processing unit
As a result of the warning display, when the selection to continue the import process is received, the date and time after the operation date and time of the import history corresponding to the identity identification information matched in the previous comparison is compared again, Execute comparison processing of identity identification information in the comparison processing unit,
The data acquisition system according to claim 2, characterized in that:
前記比較処理部は,
前記比較処理を行う間は,前記取込処理部における取込処理を行わせない排他制御をする,
ことを特徴とする請求項1から請求項4のいずれかに記載のデータ取込システム。
The comparison processing unit
During the comparison process, exclusive control is performed so that the capture process is not performed in the capture processing unit,
The data acquisition system according to any one of claims 1 to 4, characterized in that:
前記データ取込システムは,さらに,
取込対象となるデータファイルのデータに基づいて同一性識別情報を生成する同一性識別情報生成処理部,を有しており,
前記同一性識別情報はハッシュ関数により生成されるハッシュ値である,
ことを特徴とする請求項1から請求項5のいずれかに記載のデータ取込システム。
Said data acquisition system further comprises
And an identity identification information generation processing unit that generates identity identification information based on data of a data file to be fetched,
The identity identification information is a hash value generated by a hash function,
The data acquisition system according to any one of claims 1 to 5, characterized in that:
請求項1から請求項6のいずれかに記載のデータ取込システムを備えた業務システム。   A business system comprising the data acquisition system according to any one of claims 1 to 6. コンピュータを,
取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部を参照して比較する比較処理部,
前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部,
として機能させることを特徴とするデータ取込プログラム。
Computer,
Whether there is identity identification information that matches the identity identification information generated based on the data file describing the data to be captured, the same based on the data file describing the data that has been captured or is being captured A comparison processing unit that compares with reference to a capture history information storage unit that stores the sex identification information,
A loading processing unit that executes loading processing of data of a data file to be loaded when it is determined in the comparison processing unit that there is no matching identity identification information,
A data acquisition program characterized by functioning as
JP2017211986A 2017-11-01 2017-11-01 Data acquisition system Active JP6360956B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017211986A JP6360956B1 (en) 2017-11-01 2017-11-01 Data acquisition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017211986A JP6360956B1 (en) 2017-11-01 2017-11-01 Data acquisition system

Publications (2)

Publication Number Publication Date
JP6360956B1 JP6360956B1 (en) 2018-07-18
JP2019086836A true JP2019086836A (en) 2019-06-06

Family

ID=62904918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017211986A Active JP6360956B1 (en) 2017-11-01 2017-11-01 Data acquisition system

Country Status (1)

Country Link
JP (1) JP6360956B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150012A (en) * 2020-09-27 2020-12-29 高维智慧社会信息咨询(江苏)有限公司 Operator environment data analysis system based on root theory

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072740A (en) * 2008-09-16 2010-04-02 Hitachi Software Eng Co Ltd Transfer data management system in internet backup
WO2010100733A1 (en) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 Integral double exclusion system, data storage device, and server device
JP2011203842A (en) * 2010-03-24 2011-10-13 Toshiba Corp Storage device cooperating with host device to exclude duplicate data, storage system including the same and duplication exclusion method in the system
JP2015503777A (en) * 2012-01-25 2015-02-02 株式会社日立製作所 Method of single instance using file clone and file storage device using the same
JP2016126489A (en) * 2014-12-26 2016-07-11 株式会社日本デジタル研究所 Account processing system, method, and program
WO2017042978A1 (en) * 2015-09-11 2017-03-16 株式会社日立製作所 Computer system, storage device, and data management method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072740A (en) * 2008-09-16 2010-04-02 Hitachi Software Eng Co Ltd Transfer data management system in internet backup
WO2010100733A1 (en) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 Integral double exclusion system, data storage device, and server device
JP2011203842A (en) * 2010-03-24 2011-10-13 Toshiba Corp Storage device cooperating with host device to exclude duplicate data, storage system including the same and duplication exclusion method in the system
JP2015503777A (en) * 2012-01-25 2015-02-02 株式会社日立製作所 Method of single instance using file clone and file storage device using the same
JP2016126489A (en) * 2014-12-26 2016-07-11 株式会社日本デジタル研究所 Account processing system, method, and program
WO2017042978A1 (en) * 2015-09-11 2017-03-16 株式会社日立製作所 Computer system, storage device, and data management method

Also Published As

Publication number Publication date
JP6360956B1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
US11714828B2 (en) Aligned purpose disassociation in a multi-system landscape
KR101643022B1 (en) Catalog-based software component management
US9195853B2 (en) Automated document redaction
CN111078559B (en) Methods, devices, media and computer equipment for extracting function calls in java code
US20200175172A1 (en) Orchestration of vulnerability scanning and issue tracking for version control technology
JP2006072986A (en) Verifying dynamically generated operations on data store
US20210319517A1 (en) System and method for remotely obtaining an electronic signature
US20110093512A1 (en) Systems and methods for managing business objects
JP2012064129A (en) Gui integration method of multiple applications
JP2019086836A (en) Data fetch system
JP2016181019A (en) Order reception processing system and order reception processing method
US11893554B2 (en) Secure smart note
US11722324B2 (en) Secure and accountable execution of robotic process automation
US20150193870A1 (en) Generating electronic documents (edocs) for transactions
EP1600860A2 (en) Method and system for embedding context information in a document
US20220327165A1 (en) Information processing system, data management apparatus, and data management method
JP2018025894A (en) Delivery management method and delivery management system
JP5473250B2 (en) Search device control method and search device
KR102416517B1 (en) Apparatus and method for database central management using rpa
WO2021176980A1 (en) Processing system, processing method, and program
KR20200005903A (en) Server and method for document trading based on enclosed type membership
JP2019102034A (en) Determination program, determination apparatus and determination method
JP2022183596A (en) SENSITIVE DATA MANAGEMENT SYSTEM AND SENSITIVE DATA MANAGEMENT METHOD
JP2018142043A (en) Information input system, information input method, and information input program
CN112465612A (en) Receipt information processing method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171108

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171108

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20171108

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180625

R150 Certificate of patent or registration of utility model

Ref document number: 6360956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250