×

consolidated lid date

Combined sales 和Consolidated sales的区别?sql server bulk insert 与bcp 哪个快

admin admin 发表于2022-06-05 13:23:02 浏览127 评论0

抢沙发发表评论

Combined sales 和Consolidated sales的区别


别人是问金融报表上的术语

楼上的,什么卖啊,打啊,别误导别人。

combined sales是指多个部门或业务销售的总合,属于企业内部跨业务的统计资料。
consolidated sales是指集团内母公司加子公司销售的总合,属于集团合并报表的统计。

sql server bulk insert 与bcp 哪个快


今天做了一个基于SQL Server的文本文件批量导入工具,和大家分享一下心得。

方案一:

遍历文本文件,解析每一行,形成SQL语句后向数据库插入。

方案二

遍历文本文件,解析每一行,将SQL语句保存到文本文件然后执行。

方案三

使用SQL Server Bulk Insert 功能披露导入数据,然后在数据库中做数据处理。

刚开始用方案一做的,50MB文本文件导入大约20-25分钟,后来进行了优化,采用数据批量插入,性能提升不大。

继续优化,使用多线程向数据库中插入数据,性能提升10-20%左右,效果也不好。

方案二没有完全测试,主要是生成SQL文件耗时15分钟左右,不太理想。

最后使用BULK INSERT ,然后在数据库中写脚本对数据进行处理,50MB文件10秒即可导入

FQuery.SQL.Text := ’BULK INSERT LOGDATA FROM ’ + QuotedStr(FFileName)
+ ’ WITH (FIELDTERMINATOR = ’’,’’, ROWTERMINATOR = ’’\n’’, BATCHSIZE = 500)’;
FQuery.ExecSQL;

最后执行大量的UPDATE语句,将数据格式化

建议在做大数据量导入的时候还是用BULK INSERT ,SQL SERVER 性能在那里摆着,一个SQL 4ms,1000行就要4秒,根本快不了

测试java的insert 同使用9i以后的bulk Insert 的速度.
测试结果显示通过bulk Insert 速度相当的快.
100000条记录
insert ,---------------93秒
bulk insert -------------0.441秒

环境:
oracle 10.2.0.3 Windows 2000Server
java
代码:
SQL》 desc a
Name Type Nullable Default Comments
---- ------------ -------- ------- --------
ID INTEGER Y
NAME VARCHAR2(20) Y

bulk Insert 使用的类型及过程
create or replace type i_table is table of number(10);
create or replace type v_table is table of varchar2(10);

create or replace procedure pro_forall_insert(v_1 i_table,v_2 v_table)
as
c integer;
begin

forall i in 1.. v_1.count
insert into a values(v_1(i),v_2(i));
end;
测试的java代码:
public class testOracle {
public testOracle() {

Connection oraCon = null;
PreparedStatement ps = null;
Statement st = null;
ResultSet rs = null;
try {
try {
Class.forName(“oracle.jdbc.driver.OracleDriver“);
} catch (ClassNotFoundException ex) {}
oraCon = DriverManager.getConnection(“jdbc:oracle:thin:@192.168.15.234:1521:ora10g“, “imcs“,“imcs“);
oraCon.setAutoCommit(false);
} catch (SQLException ex) {
ex.printStackTrace();
}

CallableStatement cstmt = null;
oracle.sql.ArrayDescriptor a = null;
oracle.sql.ArrayDescriptor b = null;
if (1 == 1 )
{
Object s1 = new Object;
Object s2 = new Object;

for (int i = 0; i 《 100000; i++) {
s1[i] = new Integer(1);
s2[i] = new String(“aaa“).concat(String.valueOf(i));
}
try {
a = oracle.sql.ArrayDescriptor.createDescriptor(“I_TABLE“, oraCon);
b = oracle.sql.ArrayDescriptor.createDescriptor(“V_TABLE“, oraCon);
ARRAY a_test = new ARRAY(a, oraCon, s1);
ARRAY b_test = new ARRAY(b, oraCon, s2);
cstmt = oraCon.prepareCall(“{ call pro_forall_insert(?,?) }“);
cstmt.setObject(1, a_test);
cstmt.setObject(2, b_test);
long aaaa = System.currentTimeMillis();
System.out.println(System.currentTimeMillis());
cstmt.execute();
oraCon.commit();
System.out.println(System.currentTimeMillis()-aaaa);
} catch (Exception e) {
e.printStackTrace();
}
}
else
{
try
{
PreparedStatement oraPs = null;
String oraInsertSql =
“insert into a values(?,?)“;

oraPs = oraCon.prepareStatement(oraInsertSql);
long aaaa = System.currentTimeMillis();
System.out.println(System.currentTimeMillis());
for (int i = 0; i 《 100000; i++)
{

oraPs.setInt(1,i);
oraPs.setString(2, new String(“aaa“).concat(String.valueOf(i)));
oraPs.executeUpdate();
}
oraCon.commit();
System.out.println(System.currentTimeMillis()-aaaa);
}
catch (SQLException ex)
{
System.out.print(“dddddd“);
System.out.print(ex.getMessage());
}

}
try {
jbInit();
} catch (Exception ex) {
ex.printStackTrace();
}
}

public static void main(String args) {
testOracle a = new testOracle();
}

private void jbInit() throws Exception {
}

};

MySQL中SYSDATE和NOW的区别


MySQL中有5个函数需要计算当前时间的值:

NOW.返回时间,格式如:2012-09-23 06:48:28
CURDATE,返回时间的日期,格式如:2012-09-23
CURTIME,返回时间,格式如:06:48:28
UNIX_TIMESTAMP,返回时间整数戳,如:1348408108
SYSDATE,返回时间,格式和time()函数返回时间一样,但是有区别。

除了本身定义所返回的区别以外,另一个区别是:前四个函数都是返回基于语句的开始执行时间,而SYSDATE返回time的值。

通过比较,可以发现这两个函数的区别:

NOW()执行如下:

mysql》 select now(),sleep(2),now();
+---------------------+----------+---------------------+
| now() | sleep(2) | now() |
+---------------------+----------+---------------------+
| 2012-09-23 06:54:29 | 0 | 2012-09-23 06:54:29 |
+---------------------+----------+---------------------+
1 row in set (2.00 sec)

其返回的两个值是一样的,因为都是表示语句开始执行的时间。
SYSDATE执行如下:

mysql》 select sysdate(),sleep(2),sysdate();
+---------------------+----------+---------------------+
| sysdate() | sleep(2) | sysdate() |
+---------------------+----------+---------------------+
| 2012-09-23 06:55:00 | 0 | 2012-09-23 06:55:02 |
+---------------------+----------+---------------------+
1 row in set (2.01 sec)

也正因为有这个区别,我们一般在执行语句的时候,都是用NOW(),因为SYSDATE获取当时实时的时间,这有可能导致主库和从库是执行的返回值是不一样的,导致主从数据不一致。

其上其它函数执行如下:

mysql》 select now(),sysdate(),curdate(),curtime(),unix_timestamp()\G;
*************************** 1. row ***************************
now(): 2012-09-23 07:00:05
sysdate(): 2012-09-23 07:00:05
curdate(): 2012-09-23
curtime(): 07:00:05
unix_timestamp(): 1348408805
1 row in set (0.00 sec)
-lid