[go: up one dir, main page]

CN104516955A - 一种海量车机轨迹数据的存储方法 - Google Patents

一种海量车机轨迹数据的存储方法 Download PDF

Info

Publication number
CN104516955A
CN104516955A CN201410779344.7A CN201410779344A CN104516955A CN 104516955 A CN104516955 A CN 104516955A CN 201410779344 A CN201410779344 A CN 201410779344A CN 104516955 A CN104516955 A CN 104516955A
Authority
CN
China
Prior art keywords
track data
car machine
file
storage means
day
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410779344.7A
Other languages
English (en)
Inventor
韩希发
杨健
邓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Original Assignee
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd filed Critical BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority to CN201410779344.7A priority Critical patent/CN104516955A/zh
Publication of CN104516955A publication Critical patent/CN104516955A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种海量车机轨迹数据的存储方法,其能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求，并能在短时间内检索到某一辆车的轨迹数据。这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天0点把前一天的这些轨迹文件进行合并压缩处理。

Description

一种海量车机轨迹数据的存储方法
技术领域
本发明涉及车辆数据处理的技术领域，具体地涉及一种海量车机轨迹数据的存储方法。
背景技术
目前主流的车机轨迹数据的存储方法，大部分是以数据库为介质，多个车机的轨迹存储在一个数据库表内。但是，这种存储方法效率极其低下，在查询和插入操作并发的情况下会产生相互的锁等待，尤其当提取某几天的单个车机的轨迹的情况下，需要扫描大量的数据库块文件才能提取到相应的信息，因此，这种存储方法只能应对1万车机以下的场景，对于目前突飞猛进的车机接入增长需求，就会束手无策。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种海量车机轨迹数据的存储方法,其能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求，并能在短时间内检索到某一辆车的轨迹数据。
本发明的技术解决方案是：这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天0点把前一天的这些轨迹文件进行合并压缩处理。
本发明通过以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，就能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求；当检索某个车机的一个时间段内的轨迹数据时，根据时间段和车机的唯一标识可以快速的定位到轨迹文件所在的位置，相对于数据库的存储方式减少了很多冗余信息的IO操作，大幅度地提升了检索效率。
附图说明
图1为根据本发明的海量车机轨迹数据的存储方法的一个优选实施例的示意图。
图2为本发明通过车辆唯一标识定位所在物理机器的流程图。
图3为本发明的一主机一备机存储的示意图。
具体实施方式
如图1所示，这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；随着时间的增长，上面的存储方式会产生大量的轨迹文件，占用文件系统的Inodes(索引节点，文件数据都储存在"块"中，那么很显然，还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode)数量，随之Inodes数量不断增加，会降低IO存储效率，为了解决这个问题，在每天0点把前一天的这些轨迹文件进行合并压缩处理。
本发明通过以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，就能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求；当检索某个车机的一个时间段内的轨迹数据时，根据时间段和车机的唯一标识可以快速的定位到轨迹文件所在的位置，相对于数据库的存储方式减少了很多冗余信息的IO操作，大幅度地提升了检索效率。
另外，该方法把这些轨迹文件压缩为META文件和DATA文件。
另外，所述META文件中包含每个车机在DATA文件的起始位置、占用字节数量、当日的车机总数、每个车机的轨迹数量、报警总数、以及全部轨迹数量的总和。
另外，根据业务需求创建索引，索引包括上报轨迹数量、报警数量、行驶里程、胎压中的一种或多种。
另外，所述DATA文件存储压缩后的轨迹数据，压缩前轨迹数据为字符串方式，通过压缩算法根据压缩前轨迹数据的类型压缩成相应的格式，省略字符串存储方式的分割符。
另外，所述压缩前轨迹数据为经纬度信息，压缩为数字方式。比如经纬度信息65348879，如果按照字符串存储占用8个字节(GBK方式为16个字节)，修改为数字方式存储只占用4个字节，节省了50％空间，这种存储方式还省略的字符存储方式的分割符，因此总体算下来整体节省空间60％在左右。
另外，该方法把单台物理机器硬盘存储扩展为至少两台物理机器硬盘存储，一主机一备机，如图3所示，默认情况下轨迹读写服务在主机上进行，通过drbd(drbd是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当将数据写入本地文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中)服务把数据同步到备机，当主机发生故障时，修改局域网dns服务使其指向备机，由备机继续提供轨迹读写服务，主机修复故障后，再使其变为备机。
当然，在此之前还需要将车辆的唯一标识部分加入该车其轨迹数据所在物理机器标识，通过车辆唯一标识定位所在物理机器的流程如图2所示，其包括以下步骤：
(1)获取车辆唯一标识；
(2)截取该标识的前10位字符串；
(3)根据步骤(2)的字符串查询局域网dns；
(4)路由到存储该车轨迹物理存储单元。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (7)

1.一种海量车机轨迹数据的存储方法，其特征在于：该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天0点把前一天的这些轨迹文件进行合并压缩处理。
2.根据权利要求1所述的海量车机轨迹数据的存储方法，其特征在于：该方法把这些轨迹文件压缩为META文件和DATA文件。
3.根据权利要求2所述的海量车机轨迹数据的存储方法，其特征在于：所述META文件中包含每个车机在DATA文件的起始位置、占用字节数量、当日的车机总数、每个车机的轨迹数量、报警总数、以及全部轨迹数量的总和。
4.根据权利要求3所述的海量车机轨迹数据的存储方法，其特征在于：根据业务需求创建索引，索引包括上报轨迹数量、报警数量、行驶里程、胎压中的一种或多种。
5.根据权利要求4所述的海量车机轨迹数据的存储方法，其特征在于：所述DATA文件存储压缩后的轨迹数据，压缩前轨迹数据为字符串方式，通过压缩算法根据压缩前轨迹数据的类型压缩成相应的格式，省略字符串存储方式的分割符。
6.根据权利要求5所述的海量车机轨迹数据的存储方法，其特征在于：所述压缩前轨迹数据为经纬度信息，压缩为数字方式。
7.根据权利要求1所述的海量车机轨迹数据的存储方法，其特征在于：该方法把单台物理机器硬盘存储扩展为至少两台物理机器硬盘存储，一主机一备机，默认情况下轨迹读写服务在主机上进行，通过drbd服务把数据同步到备机，当主机发生故障时，修改局域网dns服务使其指向备机，由备机继续提供轨迹读写服务，主机修复故障后，再使其变为备机。
CN201410779344.7A 2014-12-16 2014-12-16 一种海量车机轨迹数据的存储方法 Pending CN104516955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410779344.7A CN104516955A (zh) 2014-12-16 2014-12-16 一种海量车机轨迹数据的存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410779344.7A CN104516955A (zh) 2014-12-16 2014-12-16 一种海量车机轨迹数据的存储方法

Publications (1)

Publication Number Publication Date
CN104516955A true CN104516955A (zh) 2015-04-15

Family

ID=52792254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410779344.7A Pending CN104516955A (zh) 2014-12-16 2014-12-16 一种海量车机轨迹数据的存储方法

Country Status (1)

Country Link
CN (1) CN104516955A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451248A (zh) * 2017-07-28 2017-12-08 福建中金在线信息科技有限公司 一种数据存储方法、装置及电子设备
CN110083599A (zh) * 2019-03-28 2019-08-02 华东师范大学 一种基于时空插值的车辆轨迹数据索引方法
CN112507024A (zh) * 2020-12-01 2021-03-16 浙商银行股份有限公司 区块链数据上链校验方法、装置、设备及存储介质
CN113343134A (zh) * 2021-06-22 2021-09-03 中国标准化研究院 一种行政区划代码动态维护管理方法及系统
CN115617770A (zh) * 2022-11-17 2023-01-17 达芬骑动力科技(北京)有限公司 一种用于车辆状态信号数据存储的数据磁盘存储管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459557A (zh) * 2008-11-29 2009-06-17 成都市华为赛门铁克科技有限公司 一种安全日志集中存储方法及装置
CN202373020U (zh) * 2011-03-11 2012-08-08 杭州鸿泉数字设备有限公司 基于云计算平台的客车智慧运营系统实现装置
CN102662610A (zh) * 2012-04-20 2012-09-12 中国科学院遥感应用研究所 一种遥感影像数据管理系统及方法
CN103049556A (zh) * 2012-12-28 2013-04-17 中国科学院深圳先进技术研究院 一种海量医疗数据的快速统计查询方法
CN103338261A (zh) * 2013-07-04 2013-10-02 北京泰乐德信息技术有限公司 一种轨道交通监测数据的存储和处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459557A (zh) * 2008-11-29 2009-06-17 成都市华为赛门铁克科技有限公司 一种安全日志集中存储方法及装置
CN202373020U (zh) * 2011-03-11 2012-08-08 杭州鸿泉数字设备有限公司 基于云计算平台的客车智慧运营系统实现装置
CN102662610A (zh) * 2012-04-20 2012-09-12 中国科学院遥感应用研究所 一种遥感影像数据管理系统及方法
CN103049556A (zh) * 2012-12-28 2013-04-17 中国科学院深圳先进技术研究院 一种海量医疗数据的快速统计查询方法
CN103338261A (zh) * 2013-07-04 2013-10-02 北京泰乐德信息技术有限公司 一种轨道交通监测数据的存储和处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟运琴等: "大规模时空数据分布式存储方法研究", 《高技术通讯》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451248A (zh) * 2017-07-28 2017-12-08 福建中金在线信息科技有限公司 一种数据存储方法、装置及电子设备
CN110083599A (zh) * 2019-03-28 2019-08-02 华东师范大学 一种基于时空插值的车辆轨迹数据索引方法
CN110083599B (zh) * 2019-03-28 2023-06-23 华东师范大学 一种基于时空插值的车辆轨迹数据索引方法
CN112507024A (zh) * 2020-12-01 2021-03-16 浙商银行股份有限公司 区块链数据上链校验方法、装置、设备及存储介质
CN113343134A (zh) * 2021-06-22 2021-09-03 中国标准化研究院 一种行政区划代码动态维护管理方法及系统
CN115617770A (zh) * 2022-11-17 2023-01-17 达芬骑动力科技(北京)有限公司 一种用于车辆状态信号数据存储的数据磁盘存储管理方法
CN115617770B (zh) * 2022-11-17 2023-03-28 达芬骑动力科技(北京)有限公司 一种用于车辆状态信号数据存储的数据磁盘存储管理方法

Similar Documents

Publication Publication Date Title
CN100399327C (zh) 管理文件系统的逻辑版本的方法和数据存储系统
CN104516955A (zh) 一种海量车机轨迹数据的存储方法
CN104572670B (zh) 一种小文件的存储、查询及删除方法和系统
US8397080B2 (en) Scalable segment-based data de-duplication system and method for incremental backups
CN102521269B (zh) 一种基于索引的计算机连续数据保护方法
CN102708165B (zh) 分布式文件系统中的文件处理方法及装置
CN102843403A (zh) 基于分布式文件系统的文件处理方法、系统及客户端
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
CN103383690B (zh) 分布式数据存储方法及系统
WO2016101283A1 (zh) 一种数据处理方法装置及系统
CN105718455A (zh) 一种数据查询方法及装置
CN102323958A (zh) 重复数据删除方法
CN103745007A (zh) 一种文件管理方法及装置
CN103870602A (zh) 数据库空间分片复制方法及系统
CN104461390A (zh) 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN109213760B (zh) 非关系数据存储的高负载业务存储及检索方法
CN105426396A (zh) 一种基于路由算法的数据库分片方法、系统和中间件系统
CN104765661A (zh) 一种云存储服务中元数据服务节点的多节点热备方法
US9110820B1 (en) Hybrid data storage system in an HPC exascale environment
KR20140137842A (ko) 데이터 부재 태깅 기반의 정보 검색 시스템 및 방법
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
CN113821476B (zh) 数据处理方法及装置
CN104239443A (zh) 一种序列化数据操作日志的存储方法
CN113407550A (zh) 数据存储及查询方法、装置及数据库系统
US20220197861A1 (en) System and method for reducing read amplification of archival storage using proactive consolidation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150415