本文目录一览：
- 1、如何修改MySQL导入数据库文件最大限制2048KB的方法
- 2、如何在mysql中导入/导出超大的sql文本文件
- 3、怎么修改linuxmysql数据库上传文件的大小
- 4、mysql 的sql文件太大怎么导入
如何修改MySQL导入数据库文件最大限制2048KB的方法
非root用户运行MySQL，当MySQL配置比较高时，MySQL运行中生效的参数值与配置的值不一样,所以具体分析一下MySQL是怎么调整这些参数值的。
这篇文章的目的是为了说明在系统资源不够的情况下，MySQL 是怎么调整者三个参数的。说明此文涉及到三个参数open_files_limit、 max_connections、 table_open_cache。与这三个参数相关的系统资源是打开文件数限制，即文件描述符（fd）限制。系统参数与文件描述符的关系 - max_connection fd : 每一个MySQL connection 都需要一个文件描述符；
- table_open_cache fd 打开一张表至少需要一个 文件描述符，如打开MyISAM需要两个fd ；
- 系统最大打开文件数可以通过 ulimit -n查看。MySQL调整参数的方式
根据配置（三个参数的配置值或默认值）计算 request_open_files（需要的文件描述符）；
2.获取有效的系统的限制值effective_open_files； 3.根据effective_open_files调整request_open_files； 4.根据调整后的request_open_files,计算实际生效的参数值（show variables 可查看参数值）。计算request_open_filesrequest_open_files有三个计算公式：1. // 最大连接数+同时打开的表的最大数量+其他（各种日志等等）2. limit_1= max_connections+table_cache_size * 2 + 10;3. 4. //假设平均每个连接打开的表的数量（2-4）5. //源码中是这么写的：6. //We are trying to allocate no less than 7. // max_connections*5 file handles8. limit_2= max_connections * 5;9. 10. //mysql 默认的默认是500011. limit_3= open_files_limit ? open_files_limit : 5000;12. 13. 所以open_files_limit期待的最低14. request_open_files= max(limit_1,limit_2,limit_3);计算effective_open_files:MySQL 的思路： -mysql改导入文件大小
在有限值的的范围内MySQL 尽量将effective_open_files的值设大。
修正request_open_files
requested_open_files= min(effective_open_files, request_open_files)
重新计算参数值
修正open_files_limit
open_files_limit = effective_open_files
修正max_connections
max_connections 根据 request_open_files 来做修正。1. limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN * 2;-mysql改导入文件大小
如果配置的max_connections值大于limit，则将max_connections 的值修正为limit
其他情况下 max_connections 保留配置值
修正table_cache_size
table_cache_size 会根据 request_open_files 来做修正1. // mysql table_cache_size 最小值，4002. limit1 = TABLE_OPEN_CACHE_MIN3. // 根据 requested_open_files 计算4. limit2 = (requested_open_files - 10 - max_connections) / 25. limit = max(limit1,limt2);-mysql改导入文件大小
如果配置的table_cache_size 值大于limit，则将 table_cache_size 的值修正为limit
其他情况下table_cache_size 保留配置值
举例
以下用例在非 root 用户下运行
参数设置：
//mysql
max_connections = 500
table_open_cache = 999
//ulimit -n
1500
生效的值：
open_files_limit = 1500 max_connections = min[(1500 - 10 - 800),500] = 500
table_open_cache = ( 1500 - 10 - 500) / 2 =495
如何在mysql中导入/导出超大的sql文本文件
在mysql中导入/导出超大的sql文本文件,我们可以使用很多方法实例，如有:客户端直接命令操作,分块导入,客户端用source命令操作等等。
在实际工作中，有时经常地时行mysql数据库的导入和导入操作，但对于大型sql文件导入时，phpmyadmin是不行的，有太多限制，比如记录，内存等!
多种方案收集，如下：
方案一：客户端直接命令操作(此方法是我比较喜欢的)
刚恢复一个电商网站mysql备份数据，此备份文件有300多M，因为phpmyadmin支持上传有限，文件太大IE停止响应，所以在本地用
代码如下
复制代码
mysql -u root -p root jiahuibuydb
c:/yebihai.sql
但没导入进去，出来一大堆mysql的参数提示，不认输入的命令参数，后来写成下面这个样子，就是去掉了参数和数据之间的空格
代码如下
复制代码
mysql -uroot -proot jiahuibuydb
c:/yebihai.sql
导入就OK了
导出命令:
a)导出整个库
mysqldump -u 用户名 -p 数据库名 导出的文件名
代码如下
复制代码
mysqldump -u root -p student
d:/yebihai.sql
b)导出一个表
mysqldump -u 用户名 -p 数据库名 表名 导出的文件名
方案二：分块导入
代码如下
复制代码
?
//用来快速Mysql的大数据备份
//使用前请首先按照代码注释修改要导入的SQL文件名、数据库主机名、数据库用户名、密码、数据库名
//同时将数据库文件和本文本一起ftp导网站目录，然后以web方式访问此文件即可
$file_name="sql.sql"; //要导入的SQL文件名
$dbhost="localhost"; //数据库主机名
$dbuser="user"; //数据库用户名
$dbpass="pass"; //数据库密码
$dbname="dbname";
//数据库名
set_time_limit(0); //设置超时时间为0，表示一直执行。当php在safe
mode模式下无效，此时可能会导致导入超时，此时需要分段导入
$fp = @fopen($file_name, "r") or
die("不能打开SQL文件 $file_name");//打开文件
mysql_connect($dbhost, $dbuser,
$dbpass) or die("不能连接数据库 $dbhost");//连接数据库
mysql_select_db($dbname)
or die ("不能打开数据库 $dbname");//打开数据库
mysql_query('set names utf8');
echo "正在执行导入操作";
while($SQL=GetNextSQL()){
if
(!mysql_query($SQL)){
echo
"执行出错：".mysql_error()."
";
echo
"SQL语句为：
".$SQL."
";
};
}
echo
"导入完成";
fclose($fp) or die("Can’t close file $file_name");//关闭文件
mysql_close();
//从文件中逐条取SQL
function GetNextSQL() {
global $fp;
$sql="";
while ($line =
@fgets($fp, 40960)) {
$line =
trim($line);
//以下三句在高版本php中不需要，在部分低版本中也许需要修改
$line =
str_replace("////","//",$line);
$line =
str_replace("/’","’",$line);
$line =
str_replace("//r//n",chr(13).chr(10),$line);
// $line
= stripcslashes($line);
if (strlen($line)1)
{
if ($line[0]=="-" $line[1]=="-")
{
continue;
}
}
$sql.=$line.chr(13).chr(10);
if
(strlen($line)0){
if
($line[strlen($line)-1]==";"){
break;
}
}
}
return $sql;
}
?
方案三：客户端用source命令操作
比较好的办法仍是用mysql的source命令：
一、在客户端下操作：
1、进行入客户端
代码如下
复制代码
2、mysqluse 数据库名(如果没有，先建一个)
3、mysqlset names 'utf8'; (一般看导入的是什么格式的文件)
4、mysqlsource d:/aaa.sql;
即可正常导入，如果有错，可以看出错提示
二、PHP文件操作：
建立a.php
里面有下面内容
代码如下
复制代码
mysql_connet('xxxx');
mysql_query("set names 'utf8'");
mysql_query("source d:/aaa.sql'");
原理同上，主要方便了无法使用命令行用户的操作
方案四：下面教大家一个简单有效的办法，适合不会使用命令窗口的非技术人员，可以导入任意大小的mysql数据库，理论上不论您的数据库备份文件多大，都可以导入
方法如下：
1.将数据库备份文件(如backup.sql)上传至网站根目录。
2.将以下代码保存为mysql.php文件，上传至网站根目录。
代码如下
复制代码
system("mysql -hdbhost -udbuser -ppassword dbname backup.sql");
print "导入成功";
其中
dbhost 改为您的数据库服务器地址(小提示:一般主机默认数据库服务器地址是:localhost)
dbuser 改为您的数据库用户名
password 改为您的数据库用户密码
dbname 改为您的数据库名(导入的时候此库必须先建立好，否则会失败并且不会进行任何提示)
backup.sql表示通过ftp上传到网站根目录下数据库文件的文件名(该文件是解压缩后的文件)
3.在浏览器里面访问mysql.php， 那么就在浏览器里面输入/mysql.php，只要浏览器一访问这个mysql.php文件，数据就开始导入，数据导入结束后，就会显示“导入成功”的字样。这个时间根据您要导入的数据大小决定，一般时间很短-mysql改导入文件大小
怎么修改linuxmysql数据库上传文件的大小
Linux 进程通过 C 标准库中的内存分配函数 malloc 向系统申请内存，但是到真正与内核交互之间，其实还隔了一层，即内存分配管理器(memory allocator)。常见的内存分配器包括：ptmalloc(Glibc)、tcmalloc(Google)、jemalloc(FreeBSD)。MySQL 默认使用的是 glibc 的 ptmalloc 作为内存分配器。-mysql改导入文件大小
内存分配器采用的是内存池的管理方式，处在用户程序层和内核层之间，它响应用户的分配请求，向操作系统申请内存，然后将其返回给用户程序。
为了保持高效的分配，分配器通常会预先向操作系统申请一块内存，当用户程序申请和释放内存的时候，分配器会将这些内存管理起来，并通过一些算法策略来判断是否将其返回给操作系统。这样做的最大好处就是可以避免用户程序频繁的调用系统来进行内存分配，使用户程序在内存使用上更加高效快捷。-mysql改导入文件大小
关于 ptmalloc 的内存分配原理，个人也不是非常了解，这里就不班门弄斧了，有兴趣的同学可以去看下华庭的《glibc 内存管理 ptmalloc 源代码分析》。
关于如何选择这三种内存分配器，网上资料大多都是推荐摒弃 glibc 原生的 ptmalloc，而改用 jemalloc 或者 tcmalloc 作为默认分配器。因为 ptmalloc 的主要问题其实是内存浪费、内存碎片、以及加锁导致的性能问题，而 jemalloc 与 tcmalloc 对于内存碎片、多线程处理优化的更好。-mysql改导入文件大小
目前 jemalloc 应用于 Firefox、FaceBook 等，并且是 MariaDB、Redis、Tengine 默认推荐的内存分配器，而 tcmalloc 则应用于 WebKit、Chrome 等。-mysql改导入文件大小
mysql 的sql文件太大怎么导入
我有个大的 SQL 文件要回放，需要马上做，但又怕压死业务，怎么办？
先来建一个测试库：
塞一些数据进去：
看看我们填充数据的成果：
使用 mysqldump 导出一份数据：
现在我们假设要把这个 dump 文件，回放到一个数据库中，并且现在数据库正在承担很重的业务，我们不希望业务受到太大影响。
先来看看如果直接回放 dump 文件，会发生什么？
我们看到 MySQL 的 cpu 会彪起来，
我们换一个方式来回放 dump：
看看 CPU 压力：
可以看到 CPU 已经非常冷静，并且缓慢的处理数据。
💡小贴士：pv 工具既可以用于显示文件流的进度，也可以用于文件流的限速。在本实验中，我们用 PV 来限制 SQL 文件发到 MySQL client 的速度，从而限制 SQL 的回放速度，达到不影响其他业务的效果。-mysql改导入文件大小
