这样一个场景:
查询条件:83 < price < 87, city = 杭州
order by time
但是只要前3条记录。
按前面的条件查出来是250万条
总记录11亿条,
但是只要前3条记录。
方案一:
要从11亿条按时间排序的记录中找出250万条符合条件的
250万条copy成(11亿/250万)份,和各个时间区段(0-3天以内,3到6天以内。。。这样)求交集
方案二:
是取时间段的前5000条,和那250万条求交集,看是否有3条满足;不满足继续找下5000条求交集
要做到的:
1.求交集算法,尽可能快,并且不改变原来排好的顺序。
2.交集算法,用辗转相除法,以小的为单位,切分大量的数据;再用余数,切分上一轮中小的数据
这种方法的好处:一可以并行,二待处理数据规模下降的很快
我们可以定这样一个大胆的目标:
查询的速度,仅与你所需要的数据量成线性关系,而和数据总量无关!
分享到:
相关推荐
MySQL海量数据查询优化策略,方法。 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引...
百万数据查询优化海量数据查询优化海量数据查询优化海量数据查询优化
海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化...
海量数据查询优化 包括聚集 非聚集索引的区别等内容
本文当是一个基于HBase的海量数据的实实时查询系统的原理分析。详细的介绍了大数据查询的原理。
海量数据分页,海量数据查询,海量数据排序
海量数据优化查询资料海量数据优化查询资料海量数据优化查询资料
sql server 海量数据处理操作,查询,插入,删除
oracle海量查询的数据优化! 建立“适当”的索引是实现查询优化的首要前提。
Java海量数据分页Bean, 适用于Oracle(适当修改,适用于任何数据库).功能描述:传入到达页码(具有容错性)、每页记录数、Select查询语句,返回该页所有的记录(整页是List集合,每条记录是一个 HashMap)、总行数、总...
海量数据库查询海量数据库查询海量数据库查询海量数据库查询海量数据库查询
数据库优化你还等什么??sql海量数据优化
随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量...
基于Oracle数据库海量数据的查询优化研究 (3).pdf
NULL 博文链接:https://high0048.iteye.com/blog/769966
关于云计算的海量数据存储模型关于云计算的海量数据存储模型关于云计算的海量数据存储模型
分享视频教程——BAT公司海量数据分页秒级查询落地方案实现,2020年最新录制,本课程将讲解万亿海量级数据存储方案以及秒级查询方案,并且落地实现。该课程将采用循序渐进方式一步一步带大家实现该系统,中间将穿插...
为提高多格式海量数据统一存取效率, 提出了一种基于Hadoop的分布式数据读取模式...实验表明, 该系列方法优化了统一存取中随机存取效率, 减少了相应的查询响应时间和数据传输开销, 提高了多格式海量数据统一存取的性能。
SQL Server 海量数据查询代码优化以及建议: 海量数据是大家容易碰到的一个难题,本文档给出了中肯的建议