[go: up one dir, main page]

CN116521713B - 一种数据查询的方法、装置、设备及存储介质 - Google Patents

一种数据查询的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116521713B
CN116521713B CN202310805159.XA CN202310805159A CN116521713B CN 116521713 B CN116521713 B CN 116521713B CN 202310805159 A CN202310805159 A CN 202310805159A CN 116521713 B CN116521713 B CN 116521713B
Authority
CN
China
Prior art keywords
data
storage
parameters
interval
storing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310805159.XA
Other languages
English (en)
Other versions
CN116521713A (zh
Inventor
乔琳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Oceanbase Technology Co Ltd
Original Assignee
Beijing Oceanbase Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Oceanbase Technology Co Ltd filed Critical Beijing Oceanbase Technology Co Ltd
Priority to CN202310805159.XA priority Critical patent/CN116521713B/zh
Publication of CN116521713A publication Critical patent/CN116521713A/zh
Application granted granted Critical
Publication of CN116521713B publication Critical patent/CN116521713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种数据查询的方法、装置、设备及存储介质,可以通过对数据表中每个数据区间的数据进行预处理的方式,将数据的存储参数作为元数据进行保存,以使每个数据只需要保存对应的尾数即可,从而可以针对保存的所有数据的存储参数相同的数据区间,可以直接通过比较存储参数的方式,确定出该数据区间中包含的所有数据与查询条件值之间的大小关系,进而可以便于提升在按条件对Decimal类型的数据进行数据查询操作时的查询效率。

Description

一种数据查询的方法、装置、设备及存储介质
技术领域
本说明书涉及计算机技术领域,尤其涉及一种数据查询的方法、装置、设备及存储介质。
背景技术
目前,在大数据、人工智能、互联网和物联网等技术领域中,对数据进行处理是十分基础的需求,而为了满足数据处理需求,数据库系统提供了各种不同的数据类型供开发人员使用,以使开发人员能够针对各种不同类型的数据进行处理,例如:int数据类型用于存储整数数据、double数据类型用于存储浮点型数据等。
而数据库系统会为不同的数据类型的数据分配不同大小的内存,其中,每种数据类型的数据被分配的内存大小是固定的,这就使得不同数据类型的存储数据是有范围限制的,当存储数据较大时,将会出现溢出情况,使得数据处理出现异常。例如:short类型通常会被分配两个字节存储空间,而两个字节的存储空间可以存储的整数的数据范围为-32768到+32767,如果将数字+32768存储到short类型变量中时,就会出现数据溢出,得到实际存储的数字为-32768,从而导致数据处理出现异常。
但是,由于在一些特定的领域中对数据的精度有着极高的要求,基于此,在数据库系统中提供了Decimal类型(即,高精度十进制数),这种数据类型通过更大的存储空间以及通过将数据转换为符号、基数、指数、尾数的形式进行存储,从而可以满足对数据的高精度要求。例如:若需要存储数据123123456789.123456789时,可以将这个数拆分为123*(10^9)^1+123456789*(10^9)^0+123456789*(10^9)^-1,其中,这里的“123”以及两个“123456789”即为尾数,“10^9”即为基数,“1”、“0”,“-1”即为指数,符号为正。
然而,由于Decimal类型的数据的存储方式特殊等原因,使得在按条件对Decimal类型的数据进行数据查询操作时的查询效率较低。
发明内容
本说明书提供一种数据查询的方法、装置、设备及存储介质,以部分的解决现有技术存在的问题。
本说明书采用下述技术方案:
本说明书提供了一种数据查询的方法,数据库中以符号参数、指数参数以及尾数参数的形式存储数据,所述方法包括:
获取查询语句;
对所述查询语句进行解析,得到查询条件值;
确定所述查询条件值对应的条件参数,所述条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数;
针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及所述条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,所述存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
可选地,预先处理各数据区间,具体包括:
针对每个数据区间,若确定该数据区间内的数据所对应的存储参数相同,清空用于存储该数据区间内每个数据的存储参数的存储空间,并将所述存储参数作为该数据区间对应的元数据进行存储。
可选地,预先处理各数据区间,具体包括:
针对每个数据区间,若确定该数据区间内的数据所对应的存储参数不同,则针对该数据区间内的每个数据,清空用于存储该数据对应存储参数的存储空间,并在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数。
可选地,在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数,具体包括:
当确定存储该数据至少部分尾数参数的存储空间中的指定字节未被占用时,则将该数据对应的存储参数存储在所述指定字节中。
可选地,在存储该数据的至少部分尾数参数的存储空间中存储该数据对应的存储参数,具体包括:
当确定存储该数据至少部分尾数参数的存储空间中的指定字节被占用时,则将存储所述至少部分尾数参数的存储空间进行扩展,并在扩展后的存储空间中存储该数据对应的存储参数。
可选地,所述方法还包括:
针对预先处理的每个数据区间,若确定该数据区间未对应有元数据,则针对该数据区间内的每个数据,确定用于表征该数据数值大小的参照值,作为该数据对应的参照值,该数据对应的参照值是通过存储该数据至少部分尾数参数的存储空间中所保存的该数据的存储参数以及所述至少部分尾数参数确定的;
根据所述查询条件值以及该数据区间内每个数据对应的参照值,从该数据区间中进行数据查询。
可选地,所述数据库中存储的数据包括:Decimal类型的数据。
本说明书提供了一种数据查询的装置,包括:
获取模块,用于获取查询语句;
解析模块,用于对所述查询语句进行解析,得到查询条件值;
确定模块,用于确定所述查询条件值对应的条件参数,所述条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数;
查询模块,用于针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及所述条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,所述存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
可选地,所述装置还包括:处理模块;
所述处理模块用于,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数相同,清空用于存储该数据区间内每个数据的存储参数的存储空间,并将所述存储参数作为该数据区间对应的元数据进行存储。
可选地,所述装置还包括:处理模块;
所述处理模块用于,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数不同,则针对该数据区间内的每个数据,清空用于存储该数据对应存储参数的存储空间,并在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数。
可选地,所述处理模块具体用于,当确定存储该数据至少部分尾数参数的存储空间中的指定字节未被占用时,则将该数据对应的存储参数存储在所述指定字节中。
可选地,所述处理模块具体用于,当确定存储该数据至少部分尾数参数的存储空间中的指定字节被占用时,则将存储所述至少部分尾数参数的存储空间进行扩展,并在扩展后的存储空间中存储该数据对应的存储参数。
可选地,所述查询模块具体用于,针对预先处理的每个数据区间,若确定该数据区间未对应有元数据,则针对该数据区间内的每个数据,确定用于表征该数据数值大小的参照值,作为该数据对应的参照值,该数据对应的参照值是通过存储该数据至少部分尾数参数的存储空间中所保存的该数据的存储参数以及所述至少部分尾数参数确定的;根据所述查询条件值以及该数据区间内每个数据对应的参照值,从该数据区间中进行数据查询。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述数据查询的方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据查询的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的数据查询的方法,获取查询语句,对查询语句进行解析,得到查询条件值,确定查询条件值对应的条件参数,其中,条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数,针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,这里的存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
从上述方法中可以看出,可以通过对数据表中每个数据区间的数据进行预处理的方式,将数据的存储参数作为元数据进行保存,以使每个数据只需要保存对应的尾数即可,从而可以针对保存的所有数据的存储参数相同的数据区间,可以直接通过比较存储参数的方式,确定出该数据区间中包含的所有数据与查询条件值之间的大小关系,进而可以便于提升在按条件对Decimal类型的数据进行数据查询操作时的查询效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中提供的一种数据查询的方法的流程示意图;
图2为本说明书中提供的一个Decimal类型数据的存储示意图;
图3为本说明书中提供的另一个Decimal类型数据的存储示意图;
图4为本说明书提供的一种数据查询的装置的示意图;
图5为本说明书提供的一种对应于图1的电子设备的示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种数据查询的方法的流程示意图,包括以下步骤:
S100:获取查询语句。
在本说明书中,用户可以在需要查询数据时,通过业务平台提供的客户端输入查询语句,并将输入的查询语句发送给业务平台,以使业务平台在获取到查询语句后,响应该查询语句,进行数据查询。
需要说明的是,在数据库中,数据以表格的形式存储,在存储数据的表格中,每一列都代表着一个字段,每个字段都对应着一个属性,例如:在用于存储银行用户信息的表中,需要存储用户的用户名、年龄、身份证号码、账户余额等信息,这里的“用户名”,“年龄”,“身份证号码”,“账户余额”分别为用户的一个属性,也就是分别为一个字段。
进一步地,在存储数据的表格中,每一行都对应着一个对象的一个元素,也就是一个对象的一个属性值,例如:“张先生”,“28”,“10011000101”,“200”,这里的“张先生”,“28”,“10011000101”,“200”分别为用户张先生的一个属性值。
进一步地,在存储数据的表格中,每一列都有对应的数据类型,例如:用户名这一列的数据类型可以为字符Char类型,而账户余额这一属性对数据的精度要求严格,因此,账户余额的这一列的数据类型通常为Decimal类型。
其中,在数据库存储一个Decimal类型的数据时,通常是将一个Decimal类型的数据拆分为多个尾数、基数和指数以及符号参数的组合来进行存储,具体可以参考如下公式:
在上述公式中,用于表示一个Decimal类型的数据,/>、/>、/>即为尾数参数,/>即为基数,基数的值b通常为10的n次幂,常用的为10的9次幂,0、-1、-n即为指数参数,符号参数为1或0(即为正数或负数,可以用1来表示为正,用0来表示为负)。
例如:对于一个Decimal类型的数据123123456789.123456789而言,可以将其拆分为:,其中b即为10的9次幂,“123”,“123456789”,“123456789”为尾数参数,e(即1、0、-1)为指数参数,符号参数为1。
需要说明的是,在对一个decimal类型的数据进行拆分时,之所以将九位进行一次拆分是因为在存储时,一个字节可以存储八位二进制数值,因此十进制中的九位数字需要四个字节来进行存储(如果基数更小的话,也可以采用更少的字节数来存储每个尾数,例如:用两个字节来进行尾数存储),除此之外,数据库在对一个decimal类型的数据进行存储时,通常将一个decimal类型的数据的尾数参数以数组的形式进行存储(例如:上述的“123”,“123456789”,“123456789”三个数所组成的数组),将一个decimal类型的数据的符号参数和指数参数单独划分一个字节进行存储,如图2所示。
图2为本说明书中提供的一个Decimal类型数据的存储示意图。
在图2中,每个方块表示一个字节,其中,白色的方块为未存储数据的字节,浅灰色的方块表示存储了尾数参数的字节,深灰色的方块表示存储有符号参数以及指数参数的字节,其中从左往右第一到四这四个方块用于存储123这个尾数对应的尾数数组(转换成二进制是多少,所以占两个字节),所以只占用两个字节,第五到八这四个方块存储整数部分的123456789这个尾数对应的尾数数组,所以占用四个字节,第九到十二这四个方块存储小数部分的123456789这个尾数对应的尾数数组,第十三个方块用于存储123123456789.123456789这个Decimal类型的数据的存储参数。
从上述内容中可以看出,由于Decimal类型的数据的存储方式特殊等原因,使得在按条件对Decimal类型的数据进行数据查询操作时的查询效率较低,所以,业务平台可以对数据库中存储的读取较为频繁的数据类型为Decimal类型一列数据进行预处理,从而可以提升用户查询该列数据时的查询效率。
值得说明的是,在存储数据的表格中,一列可能存储有大量的数据,例如:账户余额这一列中,可能存储有业务平台的多个用户的账户余额数据,因此,业务平台在获取进行预处理时,可以根据实际需求,分多次从一列数据中获取出各数据区间,即,业务平台每次从一列数据中获取出至少部分数据作为一个数据区间,并针对数据区间中包含的数据进行预处理。
具体地,服务器可以针对每个数据区间,若确定该数据区间内的数据所对应的存储参数相同,则清空用于存储该数据区间内每个数据的存储参数的存储空间,并将相同的存储参数作为该数据区间对应的元数据进行存储,这里的存储参数包含:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
进一步地,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数不同,则针对该数据区间内的每个数据,清空用于存储该数据对应存储参数的存储空间,并在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数。
具体地,当服务器确定存储该数据至少部分尾数参数的存储空间中的指定字节未被占用时,则将该数据对应的存储参数存储在指定字节中。当服务器确定存储该数据至少部分尾数参数的存储空间中的指定字节被占用时,则将存储至少部分尾数参数的存储空间进行扩展,并在扩展后的存储空间中存储该数据对应的存储参数。
需要说明的是,从之前所述的内容中可以看出,在数据库存储一个Decimal数据时,通常可以将该数据划分为多个尾数进行存储,如上述的“123”,“123456789”,“123456789”,这其中数据库会为每个尾数分配大小相同的存储空间用于存储每个尾数,例如:四个字节,而在实际应用场景中,处于高位的尾数(即位数较高的尾数,如“123”)往往只会使用到为该尾数分配的四个字节中的部分,而并不会使用全部,具体如图3所示。
图3为本说明书中提供的另一个Decimal类型数据的存储示意图。
结合图3可以看出,服务器可以将上述的存储该数据至少高位尾数参数的存储空间中的最高位字节,作为指定字节。例如:假设为高位尾数123分配了四个字节a,b,c,d,其中,a和b用于存储尾数123,其中,只有当尾数完全占用a和b这两个字节中的所有存储空间后才会继续占用c,并在完全占用c后才会占用d,这里的d即为最高位字节,所以大多数情况下,最高位字节d往往会闲置,因此,服务器可以通过最高位字节d存储该数据对应的存储参数。
其中,服务器在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数后,可以对存储该数据至少部分尾数参数的存储空间进行填充。例如:假设存储为尾数为111,在存储该数据对应的存储参数1(符号为正),1(指数为1)后,可以将其填充为11000111,即用于存储尾数的字节和用于存储存储参数的字节之间的剩余存储空间使用0进行填充,以使存储参数与尾数组成一个新的数字,这个新的数据即为该数据的参照值,而由于将符号位以及指数位依次作为新的数据的最大位,因此,该数据的参照值越大,该数据越大,即该数据的参照值可以用于表征该数据数值大小。
在本说明书中,用于实现数据查询的方法的执行主体,可以是指服务器等设置于业务平台的指定设备,也可以是指诸如台式电脑、笔记本电脑等终端设备,为了便于描述,下面仅以服务器是执行主体为例,对本说明书提供的数据查询的方法进行说明。
S102:对所述查询语句进行解析,得到查询条件值。
服务器在获取到查询语句后,可以对获取到的查询语句进行解析,以得到查询条件值,进而可以按照查询条件值,从预处理的数据中查询出符合查询条件的数据。
例如:当用户想查询用户表中包含的所有用户中账户余额大于50000的用户的姓名时,可以将50000作为查询条件值,进而可以使服务器从预处理的数据中查询出符合查询条件的数据。
S104:确定所述查询条件值对应的条件参数,所述条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数。
服务器可以确定查询条件值对应的条件参数,这里的条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数。
例如:若用户需要查询账户余额大于5000的用户的账号,则查询条件值对应的条件参数可以为将5000转换为Decimal类型的数据后的符号参数以及指数参数,即符号参数为1(为整数),指数参数为0。
再例如:若用户需要查询账户余额大于5000小于5000000000的用户的账号,则查询条件值对应的条件参数可以为将5000转换为Decimal类型的数据后的符号参数以及指数参数,以及将5000000000转换为Decimal类型的数据后的符号参数,即符号参数为1(为整数),指数参数为0以及1。
S106:针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及所述条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,所述存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
服务器可以针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据确定该数据区间的元数据与条件参数之间的大小关系,并根据该数据区间对应的元数据与条件参数之间的大小关系,判断该数据区间中包含的数据是否均为待查询数据,其中,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
需要说明的是,若该数据区间中的所有数据的存储参数相同,则将该存储参数作为元数据保存,因此,在针对存在元数据的数据区间中的所有数据进行数据查询时,若确定该数据区间的元数据与条件参数之间的大小关系满足查询语句中的查询条件时,即可确定该数据区间中的所有数据的存储参数均满足查询条件。
例如:若该数据区间中的所有数据的存储参数的符号参数为正,查询条件为查询大于-100的数时,则可以确定条件参数中的符号参数为负,则可以确定该数据区间中的所有数据均为大于-100的数。
再例如:在该数据区间中的所有数据的符号参数与条件参数中的符号参数一致时,若该数据区间中的所有数据的指数参数为1,查询条件为查询大于100的数时,则可以确定条件参数中的指数参数为0,则可以确定该数据区间中的所有数据均为大于100的数。
当然,若根据该数据区间对应的元数据以及所述条件参数一致时,则可以根据该数据区间中的所有数据的尾数参数以及根据查询条件指确定出的待查询数据对应的尾数参数之间的大小关系,确定该数据区间中的每个数据是否满足查询条件。
进一步地,服务器还可以针对预先处理的每个数据区间,若确定该数据区间未对应有元数据,则针对该数据区间内的每个数据,确定用于表征该数据数值大小的参照值,作为该数据对应的参照值,根据该数据区间内每个数据对应的参照值与查询条件值之间的大小关系,从该数据区间中进行数据查询。
上述内容中,服务器在确定任意一个数据区间对应的元数据与条件参数之间的大小关系、数据的尾数参数以及根据查询条件指确定出的待查询数据对应的尾数参数之间的大小关系、以及任意一个数据区间内每个数据对应的参照值与查询条件值之间的大小关系时,可以通过中央处理器CPU中预设的单指令多数据流(Single Instruction MultipleData,SIMD)指令集,并行确定选取出的多对数据之间的大小关系。
需要说明的是,在通过CPU进行数据之间的大小关系比较时,通常会根据一个指令读取一个数据到寄存器中,进而可以与预先读取的用于作条件的数据进行大小关系比较,然后再根据下一个指令读取下一个数据与预先读取的用于作条件的数据进行大小关系比较,依次类推直至比完所有的数据。为了提高比较的效率,可以采用SIMD指令一次读取多个数据并进行比较,而在通过SIMD指令集并行确定选取出的多对数据之间的大小关系时,以256位指令集为例,一次指令执行可以处理256位(32字节)数据,即可以一次性处理4个8字节数据,或者8个4字节数据以及16个2字节数据或者32个单字节数据,基于此,在通过SIMD指令集并行确定选取出的多对数据之间的大小关系时,可以根据一个指令读取多个数据到寄存器中,进而可以与预先读取的用于作条件的数据并行进行大小关系比较。
因此,在通过SIMD指令集并行确定选取出的多对数据之间的大小关系时,要求数据的大小为8/4/2/1字节,而从上述内容中可以看出,针对decimal类型的数据,服务器可以通过上述的将数据对应的存储参数存储到存储该数据至少部分尾数参数的存储空间中的压缩方法,从而可以使得该数据所占用的存储空间从原来所需的3个字节被压缩为2字节、或从原来所需的5个字节被压缩为4字节、或从原来所需的9个字节被压缩为8字节等,从而可以满足通过SIMD指令集并行确定选取出的多对数据之间的大小关系时对数据的要求。
从上述内容中可以看出,可以通过对数据表中每个数据区间的数据进行预处理的方式,将数据的存储参数作为元数据进行保存,以使每个数据只需要保存对应的尾数即可,从而可以针对保存的所有数据的存储参数相同的数据区间,可以直接通过比较存储参数的方式,确定出该数据区间中包含的所有数据与查询条件值之间的大小关系,进而可以便于提升在按条件对Decimal类型的数据进行数据查询操作时的查询效率。
以上为本说明书的一个或多个实施例提供的数据查询的方法,基于同样的思路,本说明书还提供了相应的数据查询的装置,如图4所示。
图4为本说明书提供的一种数据查询的装置的示意图,包括:
获取模块401,用于获取查询语句;
解析模块402,用于对所述查询语句进行解析,得到查询条件值;
确定模块403,用于确定所述查询条件值对应的条件参数,所述条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数;
查询模块404,用于针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及所述条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,所述存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
可选地,所述装置还包括:处理模块405;
所述处理模块用于,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数相同,清空用于存储该数据区间内每个数据的存储参数的存储空间,并将所述存储参数作为该数据区间对应的元数据进行存储。
可选地,所述处理模块405具体用于,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数不同,则针对该数据区间内的每个数据,清空用于存储该数据对应存储参数的存储空间,并在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数。
可选地,所述处理模块405具体用于,当确定存储该数据至少部分尾数参数的存储空间中的指定字节未被占用时,则将该数据对应的存储参数存储在所述指定字节中。
可选地,所述处理模块405具体用于,当确定存储该数据至少部分尾数参数的存储空间中的指定字节被占用时,则将存储所述至少部分尾数参数的存储空间进行扩展,并在扩展后的存储空间中存储该数据对应的存储参数。
可选地,所述查询模块404具体用于,针对预先处理的每个数据区间,若确定该数据区间未对应有元数据,则针对该数据区间内的每个数据,确定用于表征该数据数值大小的参照值,作为该数据对应的参照值,该数据对应的参照值是通过存储该数据至少部分尾数参数的存储空间中所保存的该数据的存储参数以及所述至少部分尾数参数确定的;根据所述查询条件值以及该数据区间内每个数据对应的参照值,从该数据区间中进行数据查询。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的一种数据查询的方法。
本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1的数据查询的方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程应用检测设备的处理器以产生一个机器,使得通过计算机或其他可编程应用检测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程应用检测设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程应用检测设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种数据查询的方法,数据库中以符号参数、指数参数以及尾数参数的形式存储数据,所述方法包括:
获取查询语句;
对所述查询语句进行解析,得到查询条件值;
确定所述查询条件值对应的条件参数,所述条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数;
针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及所述条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,所述存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
2.如权利要求1所述的方法,预先处理各数据区间,具体包括:
针对每个数据区间,若确定该数据区间内的数据所对应的存储参数相同,清空用于存储该数据区间内每个数据的存储参数的存储空间,并将所述存储参数作为该数据区间对应的元数据进行存储。
3.如权利要求1所述的方法,预先处理各数据区间,具体包括:
针对每个数据区间,若确定该数据区间内的数据所对应的存储参数不同,则针对该数据区间内的每个数据,清空用于存储该数据对应存储参数的存储空间,并在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数。
4.如权利要求3所述的方法,在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数,具体包括:
当确定存储该数据至少部分尾数参数的存储空间中的指定字节未被占用时,则将该数据对应的存储参数存储在所述指定字节中。
5.如权利要求3所述的方法,在存储该数据的至少部分尾数参数的存储空间中存储该数据对应的存储参数,具体包括:
当确定存储该数据至少部分尾数参数的存储空间中的指定字节被占用时,则将存储所述至少部分尾数参数的存储空间进行扩展,并在扩展后的存储空间中存储该数据对应的存储参数。
6.如权利要求3所述的方法,所述方法还包括:
针对预先处理的每个数据区间,若确定该数据区间未对应有元数据,则针对该数据区间内的每个数据,确定用于表征该数据数值大小的参照值,作为该数据对应的参照值,该数据对应的参照值是通过存储该数据至少部分尾数参数的存储空间中所保存的该数据的存储参数以及所述至少部分尾数参数确定的;
根据所述查询条件值以及该数据区间内每个数据对应的参照值,从该数据区间中进行数据查询。
7.如权利要求1~6任一项所述的方法,所述数据库中存储的数据包括:Decimal类型的数据。
8.一种数据查询的装置,包括:
获取模块,用于获取查询语句;
解析模块,用于对所述查询语句进行解析,得到查询条件值;
确定模块,用于确定所述查询条件值对应的条件参数,所述条件参数包括:待查询数据对应的符号参数、待查询数据对应的指数参数;
查询模块,用于针对预先处理的每个数据区间,若确定该数据区间对应有元数据,则根据该数据区间对应的元数据以及所述条件参数,进行数据查询,该数据区间对应的元数据用于描述该数据区间内的数据所对应的存储参数,所述存储参数包括:该数据区间内的数据对应的符号参数、该数据区间内的数据对应的指数参数。
9.如权利要求8所述的装置,所述装置还包括:处理模块;
所述处理模块用于,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数相同,清空用于存储该数据区间内每个数据的存储参数的存储空间,并将所述存储参数作为该数据区间对应的元数据进行存储。
10.如权利要求8所述的装置,所述装置还包括:处理模块;
所述处理模块用于,针对每个数据区间,若确定该数据区间内的数据所对应的存储参数不同,则针对该数据区间内的每个数据,清空用于存储该数据对应存储参数的存储空间,并在存储该数据至少部分尾数参数的存储空间中存储该数据对应的存储参数。
11.如权利要求10所述的装置,所述处理模块具体用于,当确定存储该数据至少部分尾数参数的存储空间中的指定字节未被占用时,则将该数据对应的存储参数存储在所述指定字节中。
12.如权利要求10所述的装置,所述处理模块具体用于,当确定存储该数据至少部分尾数参数的存储空间中的指定字节被占用时,则将存储所述至少部分尾数参数的存储空间进行扩展,并在扩展后的存储空间中存储该数据对应的存储参数。
13.如权利要求10所述的装置,所述查询模块具体用于,针对预先处理的每个数据区间,若确定该数据区间未对应有元数据,则针对该数据区间内的每个数据,确定用于表征该数据数值大小的参照值,作为该数据对应的参照值,该数据对应的参照值是通过存储该数据至少部分尾数参数的存储空间中所保存的该数据的存储参数以及所述至少部分尾数参数确定的;根据所述查询条件值以及该数据区间内每个数据对应的参照值,从该数据区间中进行数据查询。
14.如权利要求8~13任一项所述的装置,所述数据库中存储的数据包括:Decimal类型的数据。
15.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
16.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
CN202310805159.XA 2023-06-30 2023-06-30 一种数据查询的方法、装置、设备及存储介质 Active CN116521713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310805159.XA CN116521713B (zh) 2023-06-30 2023-06-30 一种数据查询的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310805159.XA CN116521713B (zh) 2023-06-30 2023-06-30 一种数据查询的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116521713A CN116521713A (zh) 2023-08-01
CN116521713B true CN116521713B (zh) 2023-09-12

Family

ID=87405119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310805159.XA Active CN116521713B (zh) 2023-06-30 2023-06-30 一种数据查询的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116521713B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581236A (zh) * 2020-04-02 2020-08-25 中国邮政储蓄银行股份有限公司 数据查询方法和装置
CN114064706A (zh) * 2021-11-15 2022-02-18 北京嘉和海森健康科技有限公司 数据存储方法、装置及服务器
CN114328577A (zh) * 2021-12-15 2022-04-12 江苏银承网络科技股份有限公司 数据查询方法和装置
CN114326922A (zh) * 2021-11-23 2022-04-12 极芯通讯技术(南京)有限公司 一种数据处理方法及装置
CN115952201A (zh) * 2023-02-10 2023-04-11 平安科技(深圳)有限公司 数据查询方法、装置、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924339B2 (ja) * 2011-06-21 2016-05-25 日本電気株式会社 数値範囲検索装置、数値範囲検索方法、および数値範囲検索プログラム
TWI712899B (zh) * 2015-07-28 2020-12-11 香港商阿里巴巴集團服務有限公司 資訊查詢方法及裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581236A (zh) * 2020-04-02 2020-08-25 中国邮政储蓄银行股份有限公司 数据查询方法和装置
CN114064706A (zh) * 2021-11-15 2022-02-18 北京嘉和海森健康科技有限公司 数据存储方法、装置及服务器
CN114326922A (zh) * 2021-11-23 2022-04-12 极芯通讯技术(南京)有限公司 一种数据处理方法及装置
CN114328577A (zh) * 2021-12-15 2022-04-12 江苏银承网络科技股份有限公司 数据查询方法和装置
CN115952201A (zh) * 2023-02-10 2023-04-11 平安科技(深圳)有限公司 数据查询方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN116521713A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111581230B (zh) 一种数据分析报告的生成方法、设备及介质
CN110134668B (zh) 应用于区块链的数据迁移方法、装置和设备
CN110162796B (zh) 新闻专题创建方法和装置
CN115617799A (zh) 一种数据存储的方法、装置、设备及存储介质
CN112182116B (zh) 数据探查方法及装置
CN116521713B (zh) 一种数据查询的方法、装置、设备及存储介质
CN107368281B (zh) 一种数据处理方法及装置
WO2024179154A1 (zh) 数据处理方法、装置及设备
CN115017915B (zh) 一种模型训练、任务执行的方法及装置
CN116010419A (zh) 一种创建唯一索引和优化逻辑删除的方法及装置
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116384505A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN116248128A (zh) 对数据进行压缩的方法、装置及设备
CN111339117B (zh) 数据处理方法、装置及设备
CN115878654A (zh) 一种数据查询的方法、装置、设备及存储介质
CN111242195B (zh) 模型、保险风控模型训练方法、装置及电子设备
CN107645541B (zh) 数据存储方法、装置及服务器
CN114662485A (zh) 一种翻译模型压缩方法、翻译方法及相关装置
CN119396917A (zh) 一种留存指标计算方法、装置、存储介质及电子设备
CN111967767A (zh) 一种业务风险识别方法、装置、设备及介质
CN111598219A (zh) 一种深度可分离卷积的量化方法、装置、设备及介质
CN117455015B (zh) 一种模型优化的方法、装置、存储介质及电子设备
CN112711539B (zh) 一种数据处理的方法、装置以及数据检测系统
CN110033249B (zh) 一种流水落表方法及装置
CN116109008B (zh) 一种业务执行的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant