Mysql中幾種插入效率的實例對比
最近因為工作的需要，要在Mysql里插入大量的數(shù)據(jù)大約1000w，目測會比較耗時。所以現(xiàn)在就像測試一下到底用什么插入數(shù)據(jù)的方法比較快捷高效。
下面就針對每一種方法分別測試不同數(shù)據(jù)量下的插入效率。
測試數(shù)據(jù)庫的基本與操作如下：
mysql> create database test; Query OK, 1 row affected (0.02 sec) mysql> use test; Database changed mysql> create table mytable(id int primary key auto_increment ,value varchar(50)); Query OK, 0 rows affected (0.35 sec) mysql> desc mytable; +-------+-------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+-------------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | value | varchar(50) | YES | | NULL | | +-------+-------------+------+-----+---------+----------------+ 2 rows in set (0.02 sec)
方便測試，這里建了一個表，兩個字段，一個是自增的id，另一個是字符串表示內(nèi)容。
測試時每次實驗結(jié)束都要mysql> truncate mytable，來清空已存在的表。
方法一：逐條插入
測試代碼：（中間有1000條insert語句，用vim復(fù)制粘貼比較方便，寫完后保存到a.sql，然后在mysql提示符中輸入source a.sql）
set @start=(select current_timestamp(6)); insert into mytable values(null,"value"); ...... insert into mytable values(null,"value"); set @end=(select current_timestamp(6)); select @start; select @end;
輸出結(jié)果：
Query OK, 1 row affected (0.03 sec) ...... Query OK, 1 row affected (0.03 sec) Query OK, 0 rows affected (0.00 sec) +----------------------------+ | @start | +----------------------------+ | 2016-05-05 23:06:51.267029 | +----------------------------+ 1 row in set (0.00 sec) +----------------------------+ | @end | +----------------------------+ | 2016-05-05 23:07:22.831889 | +----------------------------+ 1 row in set (0.00 sec)
總共耗時31.56486s，事實上幾乎每條語句花的時間是差不多的，基本就是30ms。
這樣子1000w的數(shù)據(jù)就得花87h。
至于更大的數(shù)據(jù)量也就不試了，這種方法肯定不可取。
方法二：基于事務(wù)的批量插入
實際上就是把這么多的查詢放在一個事務(wù)中。事實上方法一中沒一條語句都開了一個事務(wù)，因此才會特別慢。
測試代碼：（與方法一基本類似，主要添加兩行，由于比較快，這里測試了多種數(shù)據(jù)量）
set @start=(select current_timestamp(6)); start transaction; insert into mytable values(null,"value"); ...... insert into mytable values(null,"value"); commit; set @end=(select current_timestamp(6)); select @start; select @end;
測試結(jié)果：
數(shù)據(jù)量 時間(s) 1k 0.1458 1w 1.0793 10w 5.546006 100w 38.930997
看出來基本是對數(shù)時間，效率還是比較高的。
方法三：單條語句一次插入多組數(shù)據(jù)
就是一條insert一次插入多個value。
測試代碼：
insert into mytable values (null,"value"),
(null,"value"),
......
(null,"value");
測試結(jié)果：
數(shù)據(jù)量 時間(s) 1k 0.15 1w 0.80 10w 2.14 100w *
看上去也是對數(shù)時間，而且比方法二要稍微快一點。不過問題在于單次SQL語句是有緩沖區(qū)大小限制的，雖然可以修改配置讓他變大，但也不能太大。所以在插入大批量的數(shù)據(jù)時也用不了。
方法四：導(dǎo)入數(shù)據(jù)文件
將數(shù)數(shù)據(jù)寫成數(shù)據(jù)文件直接導(dǎo)入（參照上一節(jié)）。
數(shù)據(jù)文件（a.dat）：
null value null value ..... null value null value
測試代碼：
mysql> load data local infile "a.dat" into table mytable;
測試結(jié)果：
數(shù)據(jù)量 時間(s) 1k 0.13 1w 0.75 10w 1.97 100w 6.75 1000w 58.18
時間最快，就是他了。。。。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流，謝謝大家對本站的支持。
版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。
關(guān)注官方微信