什么叫“分页查询”？mysql如何做分页查询

本文目录

什么叫“分页查询”
mysql如何做分页查询
一千万条数据的表, 如何分页查询
mysql百万数据分页查询4秒，求教怎么优化
数据量太大，分页查询变慢，有什么优化查询的方法吗
怎么进行分页数据的查询，如何判断是否有下一页
如何对分库后的数据进行分页查询
如何实现分页查询
oracle数据库怎么实现分页,且每页三条数据
Oracle数据库中如何快速查询分页

什么叫“分页查询”

分页查询，是一种操作系统里存储器管理的一种技术，可以使电脑的主存可以使用存储在辅助存储器中的数据。操作系统会将辅助存储器（通常是磁盘）中的数据分区成固定大小的区块，称为“页”（pages）。当不需要时，将分页由主存（通常是内存）移到辅助存储器；当需要时，再将数据取回，加载主存中。相对于分段，分页允许存储器存储于不连续的区块以维持文件系统的整齐。分页是磁盘和内存间传输数据块的最小单位。

扩展资料：

分页查询的页面调度类型

1、当需要用到数据时再向系统请求，使系统将数据由辅助存储器传入存储器上，这就叫“需求分页”。它使得系统不需要将全部的程序都放在存储器上，减少了所需要的存储器的数量。所有现代系统都使用按需页面调度（paging）的方式。-分页查询

2、当系统查看分页表时认为某些数据可能需要用到，而先将数据传到存储器上的行为，就叫做“先行分页”，当存储器够大的话通常会采取这种方式。

3、Unix系统会定期使用sync程序来清理所有经过更动的帧，它会将所有被更动过的帧存到辅助存储器中。Windows系统有时亦会进行类似功能的操作，它可以使新程序在打开时更快速。

直接用limit start, count分页语句，也是我程序中用的方法：
select * from product limit start, count
当起始页较小时，查询没有性能问题，我们分别看下从10， 100， 1000， 10000开始分页的执行时间（每页取20条），如下：
select * from product limit 10, 20 0.016秒
select * from product limit 100, 20 0.016秒
select * from product limit 1000, 20 0.047秒
select * from product limit 10000, 20 0.094秒
我们已经看出随着起始记录的增加，时间也随着增大，这说明分页语句limit跟起始页码是有很大关系的，那么我们把起始记录改为40w看下（也就是记录的一般左右） select * from product limit 400000, 20 3.229秒
再看我们取最后一页记录的时间
select * from product limit 866613, 20 37.44秒
难怪搜索引擎抓取我们页面的时候经常会报超时，像这种分页最大的页码页显然这种时
间是无法忍受的。
从中我们也能总结出两件事情：
1）limit语句的查询时间与起始记录的位置成正比
2）mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用。
-分页查询

一千万条数据的表, 如何分页查询

数据量过大的情况下, limit offset分页会由于扫描数据太多而越往后查询越慢。可以配合当前页最后一条ID进行查询, SELECT * FROM TABLE WHERE id 》 #{ID} LIMIT #{LIMIT}。当然, 这种情况下ID必须是有序的, 这也是有序ID的好处之一。
-分页查询

mysql百万数据分页查询4秒，求教怎么优化

很多应用往往只展示最新或最热门的几条记录，但为了旧记录仍然可访问，所以就需要个分页的导航栏。然而，如何通过MySQL更好的实现分页，始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法，但了解数据库的底层或多或少有助于优化分页查询。
我们先从一个常用但性能很差的查询来看一看。
SELECT *
FROM city
ORDER BY id DESC
LIMIT 0, 15
这个查询耗时0.00sec。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录。
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
city varchar(128) NOT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的问题在于offset(分页偏移量)很大的时候，像下面这样：
SELECT *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
上面的查询在有2M行记录时需要0.22sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小。
对于分页请求，还有一个信息也很重要，就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。
SELECT COUNT(*)
FROM city;
然而，上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数。但是在大多数情况下，查询语句简短并不意味着性能的提高。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能。
SELECT SQL_CALC_FOUND_ROWS *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
这个语句耗时20.02sec，是上一个的两倍。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法。
下面来看看到底如何优化。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录。
高效的计算行数
如果采用的引擎是MyISAM，可以直接执行COUNT(*)去获取行数即可。相似的，在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数。
我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时，执行下面的语句：
SELECT COUNT(*)
FROM city
USE INDEX(PRIMARY);
获取记录
下面进入这篇文章最重要的部分，获取分页要展示的记录。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页。为了简单，我们就假设最新发布的新闻的Id也是最大的。
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(128) NOT NULL
) ENGINE=InnoDB;
一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下，需要传入当前页面展示的最后一个Id。
SELECT *
FROM news WHERE id 《 $last_id
ORDER BY id DESC
LIMIT $perpage
查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序。
SELECT *
FROM news WHERE id 》 $last_id
ORDER BY id ASC
LIMIT $perpage
上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。
SELECT id
FROM (
SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt
FROM news
JOIN (SELECT @cnt:= 0)T
WHERE id 《 $last_id
ORDER BY id DESC
LIMIT $perpage * $buttons
)C
WHERE cnt = 0;
通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次。如果固定了每个按钮的offset Id，这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的。
如果表中的记录很少被删除、修改，还可以将记录对应的页码存储到表中，并在该列上创建合适的索引。采用这种方式，当新增一个记录的时候，需要执行下面的查询重新生成对应的页号。
SET p:= 0;
UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;
当然，也可以新增一个专用于分页的表，可以用个后台程序来维护。
UPDATE pagination T
JOIN (
SELECT id, CEIL((p:= p + 1) / $perpage) page
FROM news
ORDER BY id
)C
ON C.id = T.id
SET T.page = C.page;
现在想获取任意一页的元素就很简单了：
SELECT *
FROM news A
JOIN pagination B ON A.id=B.ID
WHERE page=$offset;
还有另外一种与上种方法比较相似的方法来做分页，这种方式比较试用于数据集相对小，并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询，当有2M条记录时，要耗费2sec左右。这种方式比较简单，创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。
CREATE TEMPORARY TABLE _tmp (KEY SORT(random))
SELECT id, FLOOR(RAND() * 0x8000000) random
FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;
接下来就可以向下面一样执行分页查询了。
SELECT *
FROM _tmp
WHERE OFFSET 》= $offset
ORDER BY OFFSET
LIMIT $perpage;
简单来说，对于分页的优化就是。。。避免数据量大时扫描过多的记录。
-分页查询

数据量太大，分页查询变慢，有什么优化查询的方法吗

下面以关系数据库系统Informix为例，介绍改善用户查询计划的方法。
1．合理使用索引
索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：
●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。
●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引。
●在条件表达式中经常用到的不同值较多的列上建立检索，在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值，因此就无必要建立索引。如果建立索引不但不会提高查询效率，反而会严重降低更新速度。
●如果待排序的列有多个，可以在这些列上建立复合索引（compound index）。
●使用系统工具。如Informix数据库有一个tbcheck工具，可以在可疑的索引上进行检查。在一些数据库服务器上，索引可能失效或者因为频繁操作而使得读取效率降低，如果一个使用索引的查询不明不白地慢下来，可以试着用tbcheck工具检查索引的完整性，必要时进行修复。另外，当数据库表更新大量数据后，删除并重建索引可以提高查询速度。
2．避免或简化排序
应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时，优化器就避免了排序的步骤。以下是一些影响因素：
●索引中不包括一个或几个待排序的列；
●group by或order by子句中列的次序与索引的次序不一样；
●排序的列来自不同的表。
为了避免不必要的排序，就要正确地增建索引，合理地合并数据库表（尽管有时可能影响表的规范化，但相对于效率的提高是值得的）。如果排序不可避免，那么应当试图简化它，如缩小排序的列的范围等。
3．消除对大型表行数据的顺序存取
在嵌套查询中，对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略，一个嵌套3层的查询，如果每层都查询1000行，那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如，两个表：学生表（学号、姓名、年龄……）和选课表（学号、课程号、成绩）。如果两个表要做连接，就要在“学号”这个连接字段上建立索引。
还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引，但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作：
SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num》1001) OR order_num=1008
虽然在customer_num和order_num上建有索引，但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合，所以应该改为如下语句：
SELECT ＊ FROM orders WHERE customer_num=104 AND order_num》1001
UNION
SELECT ＊ FROM orders WHERE order_num=1008
这样就能利用索引路径处理查询。
4．避免相关子查询
一个列的标签同时在主查询和where子句中的查询中出现，那么很可能当主查询中的列值改变之后，子查询必须重新查询一次。查询嵌套层次越多，效率越低，因此应当尽量避免子查询。如果子查询不可避免，那么要在子查询中过滤掉尽可能多的行。
5．避免困难的正规表达式
MATCHES和LIKE关键字支持通配符匹配，技术上叫正规表达式。但这种匹配特别耗费时间。例如：SELECT ＊ FROM customer WHERE zipcode LIKE “98_ _ _”
即使在zipcode字段上建立了索引，在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT ＊ FROM customer WHERE zipcode 》“98000”，在执行查询时就会利用索引来查询，显然会大大提高速度。
另外，还要避免非开始的子串。例如语句：SELECT ＊ FROM customer WHERE zipcode[2，3]》“80”，在where子句中采用了非开始子串，因而这个语句也不会使用索引。
6．使用临时表加速查询
把表的一个子集进行排序并创建临时表，有时能加速查询。它有助于避免多重排序操作，而且在其他方面还能简化优化器的工作。例如：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance》0
AND cust.postcode》“98000”
ORDER BY cust.name
如果这个查询要被执行多次而不止一次，可以把所有未付款的客户找出来放在一个临时文件中，并按客户的名字进行排序：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance》0
ORDER BY cust.name
INTO TEMP cust_with_balance
然后以下面的方式在临时表中查询：
SELECT ＊ FROM cust_with_balance
WHERE postcode》“98000”
临时表中的行要比主表中的行少，而且物理顺序就是所要求的顺序，减少了磁盘I/O，所以查询工作量可以得到大幅减少。
注意：临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下，注意不要丢失数据。
7．用排序来取代非顺序存取
非顺序磁盘存取是最慢的操作，表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况，使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。
有些时候，用数据库的排序能力来替代非顺序的存取能改进查询。
-分页查询

怎么进行分页数据的查询，如何判断是否有下一页

jsp中分页显示查询到的数据是通过foreach标签控制的，一般是显示首页，下一页，上一页，尾页这些连接项。

1、构建一个PageControl对象将分页所涉及到的一些关键的“控制数据“予以封装.

具体说明如下：

public int curPage ; //当前是第几页

public int maxPage ; //一共有多少页

public int maxRowCount ; //一共有多少行

public int rowsPerPage ; //每页有多少行

public yourDataType yourdata ;//装载每页的数据关于每页所要显示的“实体数据“的载体，其实现方式多种多样，比如说在IBM电子商务系统MPE中是以bean的形式，这是一种面向对象的实现，比较的简略的实现可用java.util.Vector等，为了避免分散对核心问题的的注意力，这里用youDataType予以抽象.-分页查询

public void countMaxPage() { //根据总行数计算总页数if (this.maxRowCount % this.rowsPerPage==0){this.maxPage = this.maxRowCount/this.rowsPerPage;}else{this.maxPage = this.maxRowCount/this.rowsPerPage + 1;}}-分页查询

this.rowsPerPage其实应从配置文件中获得，这样做的好处是程序能在运行中读取从而实现动态（再）配置,简略的做法是直接写在程序中。

2、在servlet的service()方法中只需进行如下操作：

PageControl pageCtl = yourBusinessObject.listData(req.getParameter(“jumpPage“));req.setAttribute(“pageCtl“,pageCtl);获取到显示第几页控制参数-分页查询

3、pageman.jsp页面的控制输出代码

每页《%=pageCtl.rowsPerPage%》行共《%=pageCtl.maxRowCount%》行第《%=pageCtl.curPage%》页共《%=pageCtl.maxPage%》页《BR》《%if(pageCtl.curPage==1){ out.print(“ 首页上一页“); }else{ %》《A HREF=“javascript:gotoPage(1)“》首页《/A》《A HREF=“javascript:gotoPage(《%=pageCtl.curPage-1%》)“》上一页《/A》《%}%》《%if(pageCtl.curPage==pageCtl.maxPage){ out.print(“下一页尾页“); }else{ %》《A HREF=“javascript:gotoPage(《%=pageCtl.curPage+1%》)“》下一页《/A》《A HREF=“javascript:gotoPage(《%=pageCtl.maxPage%》)“》尾页《/A》《%}%》转到第《SELECT name=“jumpPage“ onchange=“Jumping()“》《% for(int i=1;i《=pageCtl.maxPage;i++) {if (i== pageCtl.curPage){%》《OPTION selected value=《%=i%》》《%=i%》《/OPTION》《%}else{%》《OPTION value=《%=i%》》《%=i%》《/OPTION》《%}}%》《/SELECT》页在页面上会呈现出形如下图：-分页查询

如何对分库后的数据进行分页查询

1、直接使用跨库的多表联合查询。不建议。
2、向6台数据库server均发送一个查询请求，然后对所有查询结果进行汇总，再处理分页逻辑。
3、建立一个总数据库，只负责维护主键和必要的索引，以供分页查询。
4、使用redis维护一个主键序列，分页操作就是截取该序列的一部分，其结果就是主键id集合。拿到id后便可以映射到多台mysql服务器上查询数据了。但毕竟数据被分布式存储了，取到完整结果集必须要多次、多台的数据库访问，这个肯定是避免不了。
注：“多台”数据库访问的问题无解，但同台“多次”数据库访问的问题可以通过程序优化。
-分页查询

如何实现分页查询

oracle数据库怎么实现分页,且每页三条数据

您好：oracle查询分页可分为两种情况，一种使用的是rownum ，另外一种则是使用 row_number() over(order by column_name desc)。
1.使用rownum分页查询，可用以下方式：
select t2.* from (select t1.*,rownum as rn from table_name t1 where 1=1 and rownum 《= page * page_size) t2 where t2.rn 》 (page - 1) * page_size;
2.使用 row_number() over() 分页查询
select t2.* from (select t1.*,row_number() over(order by column_name desc) as rn from table_name t1 where 1=1 )t2 where t2.rn 》 (page-1)* page_size and t2.rn 《= page * page_size;
这种方式，也是可以分页的。
希望能帮助您！
-分页查询

Oracle数据库中如何快速查询分页

1.rownum分页查询：select t2.* from (select t1.*,rownum as rn from table_name t1 where 1=1 and rownum 《= page * page_size) t2 where t2.rn 》 (page - 1) * page_size;2. row_number() over() 分页查询select t2.* from (select t1.*,row_number() over(order by column_name desc) as rn from table_name t1 where 1=1 )t2 where t2.rn 》 (page-1)* page_size and t2.rn 《= page * page_size;
-分页查询

电脑数码网

Nice to meet you, too!

分页查询

什么叫“分页查询”？mysql如何做分页查询

admin 发表于2022-09-07 09:00:57 浏览182 评论0

本文目录