這次我們采取技術(shù)演進(jìn)的方式來談?wù)剶?shù)據(jù)庫連接池的技術(shù)出現(xiàn)過程及其原理,以及當(dāng)下最流行的開源數(shù)據(jù)庫連接池jar包。
一、早期我們?cè)趺催M(jìn)行數(shù)據(jù)庫操作
1、原理
一般來說,JAVA應(yīng)用程序訪問數(shù)據(jù)庫的過程是:
①裝載數(shù)據(jù)庫驅(qū)動(dòng)程序;
②通過jdbc建立數(shù)據(jù)庫連接;
③訪問數(shù)據(jù)庫,執(zhí)行sql語句;
④斷開數(shù)據(jù)庫連接。
2、代碼
// 查詢所有用戶 public void FindAllUsers (){ //1、裝載sqlserver驅(qū)動(dòng)對(duì)象 DriverManager.registerDriver(new SQLServerDriver()); //2、通過JDBC建立數(shù)據(jù)庫連接 Connection con =DriverManager.getConnection("jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123"); //3、創(chuàng)建狀態(tài) Statement state =con.createStatement(); //4、查詢數(shù)據(jù)庫并返回結(jié)果 ResultSet result =state.executeQuery("select * from users"); //5、輸出查詢結(jié)果 while(result.next()){ System.out.println(result.getString("email")); } //6、斷開數(shù)據(jù)庫連接 result.close(); state.close(); con.close(); }
3、分析
程序開發(fā)過程中,存在很多問題:首先,每一次web請(qǐng)求都要建立一次數(shù)據(jù)庫連接。建立連接是一個(gè)費(fèi)時(shí)的活動(dòng),每次都得花費(fèi)0.05s~1s的時(shí)間,而且系統(tǒng)還要分配內(nèi)存資源。這個(gè)時(shí)間對(duì)于一次或幾次數(shù)據(jù)庫操作,或許感覺不出系統(tǒng)有多大的開銷。可是對(duì)于現(xiàn)在的web應(yīng)用,尤其是大型電子商務(wù)網(wǎng)站,同時(shí)有幾百人甚至幾千人在線是很正常的事。在這種情況下,頻繁的進(jìn)行數(shù)據(jù)庫連接操作勢(shì)必占用很多的系統(tǒng)資源,網(wǎng)站的響應(yīng)速度必定下降,嚴(yán)重的甚至?xí)斐煞?wù)器的崩潰。不是危言聳聽,這就是制約某些電子商務(wù)網(wǎng)站發(fā)展的技術(shù)瓶頸問題。其次,對(duì)于每一次數(shù)據(jù)庫連接,使用完后都得斷開。否則,如果程序出現(xiàn)異常而未能關(guān)閉,將會(huì)導(dǎo)致數(shù)據(jù)庫系統(tǒng)中的內(nèi)存泄漏,最終將不得不重啟數(shù)據(jù)庫。還有,這種開發(fā)不能控制被創(chuàng)建的連接對(duì)象數(shù),系統(tǒng)資源會(huì)被毫無顧及的分配出去,如連接過多,也可能導(dǎo)致內(nèi)存泄漏,服務(wù)器崩潰。
上述的用戶查詢案例,如果同時(shí)有1000人訪問,就會(huì)不斷的有數(shù)據(jù)庫連接、斷開操作:
通過上面的分析,我們可以看出來,“數(shù)據(jù)庫連接”是一種稀缺的資源,為了保障網(wǎng)站的正常使用,應(yīng)該對(duì)其進(jìn)行妥善管理。其實(shí)我們查詢完數(shù)據(jù)庫后,如果不關(guān)閉連接,而是暫時(shí)存放起來,當(dāng)別人使用時(shí),把這個(gè)連接給他們使用。就避免了一次建立數(shù)據(jù)庫連接和斷開的操作時(shí)間消耗。原理如下:
二、技術(shù)演進(jìn)出來的數(shù)據(jù)庫連接池
由上面的分析可以看出,問題的根源就在于對(duì)數(shù)據(jù)庫連接資源的低效管理。我們知道,對(duì)于共享資源,有一個(gè)很著名的設(shè)計(jì)模式:資源池(resource pool)。該模式正是為了解決資源的頻繁分配﹑釋放所造成的問題。為解決上述問題,可以采用數(shù)據(jù)庫連接池技術(shù)。數(shù)據(jù)庫連接池的基本思想就是為數(shù)據(jù)庫連接建立一個(gè)“緩沖池”。預(yù)先在緩沖池中放入一定數(shù)量的連接,當(dāng)需要建立數(shù)據(jù)庫連接時(shí),只需從“緩沖池”中取出一個(gè),使用完畢之后再放回去。我們可以通過設(shè)定連接池最大連接數(shù)來防止系統(tǒng)無盡的與數(shù)據(jù)庫連接。更為重要的是我們可以通過連接池的管理機(jī)制監(jiān)視數(shù)據(jù)庫的連接的數(shù)量﹑使用情況,為系統(tǒng)開發(fā)﹑測(cè)試及性能調(diào)整提供依據(jù)。
我們自己嘗試開發(fā)一個(gè)連接池,來為上面的查詢業(yè)務(wù)提供數(shù)據(jù)庫連接服務(wù):
① 編寫class 實(shí)現(xiàn)DataSource 接口
② 在class構(gòu)造器一次性創(chuàng)建10個(gè)連接,將連接保存LinkedList中
③ 實(shí)現(xiàn)getConnection 從 LinkedList中返回一個(gè)連接
④ 提供將連接放回連接池中方法
1、連接池代碼
public class MyDataSource implements DataSource { //鏈表 --- 實(shí)現(xiàn)棧結(jié)構(gòu) privateLinkedList<Connection> dataSources = new LinkedList<Connection>(); //初始化連接數(shù)量 publicMyDataSource() { //一次性創(chuàng)建10個(gè)連接 for(int i = 0; i < 10; i++) { try { //1、裝載sqlserver驅(qū)動(dòng)對(duì)象 DriverManager.registerDriver(new SQLServerDriver()); //2、通過JDBC建立數(shù)據(jù)庫連接 Connection con =DriverManager.getConnection( "jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123"); //3、將連接加入連接池中 dataSources.add(con); } catch (Exception e) { e.printStackTrace(); } } } @Override publicConnection getConnection() throws SQLException { //取出連接池中一個(gè)連接 final Connection conn = dataSources.removeFirst(); // 刪除第一個(gè)連接返回 return conn; } //將連接放回連接池 publicvoid releaseConnection(Connection conn) { dataSources.add(conn); } }
2、使用連接池重構(gòu)我們的用戶查詢函數(shù)
//查詢所有用戶 public void FindAllUsers(){ //1、使用連接池建立數(shù)據(jù)庫連接 MyDataSource dataSource = new MyDataSource(); Connection conn =dataSource.getConnection(); //2、創(chuàng)建狀態(tài) Statement state =con.createStatement(); //3、查詢數(shù)據(jù)庫并返回結(jié)果 ResultSet result =state.executeQuery("select * from users"); //4、輸出查詢結(jié)果 while(result.next()){ System.out.println(result.getString("email")); } //5、斷開數(shù)據(jù)庫連接 result.close(); state.close(); //6、歸還數(shù)據(jù)庫連接給連接池 dataSource.releaseConnection(conn); }
這就是數(shù)據(jù)庫連接池的原理,它大大提供了數(shù)據(jù)庫連接的利用率,減小了內(nèi)存吞吐的開銷。我們?cè)陂_發(fā)過程中,就不需要再關(guān)心數(shù)據(jù)庫連接的問題,自然有數(shù)據(jù)庫連接池幫助我們處理,這回放心了吧。但連接池需要考慮的問題不僅僅如此,下面我們就看看還有哪些問題需要考慮。
三、連接池還要考慮更多的問題
1、并發(fā)問題
為了使連接管理服務(wù)具有最大的通用性,必須考慮多線程環(huán)境,即并發(fā)問題。這個(gè)問題相對(duì)比較好解決,因?yàn)閖ava語言自身提供了對(duì)并發(fā)管理的支持,使用synchronized關(guān)鍵字即可確保線程是同步的。使用方法為直接在類方法前面加上synchronized關(guān)鍵字,如:
publicsynchronized connection getconnection()
2、多數(shù)據(jù)庫服務(wù)器和多用戶
對(duì)于大型的企業(yè)級(jí)應(yīng)用,常常需要同時(shí)連接不同的數(shù)據(jù)庫(如連接oracle和sybase)。如何連接不同的數(shù)據(jù)庫呢?我們采用的策略是:設(shè)計(jì)一個(gè)符合單例模式的連接池管理類,在連接池管理類的唯一實(shí)例被創(chuàng)建時(shí)讀取一個(gè)資源文件,其中資源文件中存放著多個(gè)數(shù)據(jù)庫的url地址等信息。根據(jù)資源文件提供的信息,創(chuàng)建多個(gè)連接池類的實(shí)例,每一個(gè)實(shí)例都是一個(gè)特定數(shù)據(jù)庫的連接池。連接池管理類實(shí)例為每個(gè)連接池實(shí)例取一個(gè)名字,通過不同的名字來管理不同的連接池。
對(duì)于同一個(gè)數(shù)據(jù)庫有多個(gè)用戶使用不同的名稱和密碼訪問的情況,也可以通過資源文件處理,即在資源文件中設(shè)置多個(gè)具有相同url地址,但具有不同用戶名和密碼的數(shù)據(jù)庫連接信息。
3、事務(wù)處理
我們知道,事務(wù)具有原子性,此時(shí)要求對(duì)數(shù)據(jù)庫的操作符合“all-all-nothing”原則即對(duì)于一組sql語句要么全做,要么全不做。
在java語言中,connection類本身提供了對(duì)事務(wù)的支持,可以通過設(shè)置connection的autocommit屬性為false 然后顯式的調(diào)用commit或rollback方法來實(shí)現(xiàn)。但要高效的進(jìn)行connection復(fù)用,就必須提供相應(yīng)的事務(wù)支持機(jī)制??刹捎妹恳粋€(gè)事務(wù)獨(dú)占一個(gè)連接來實(shí)現(xiàn),這種方法可以大大降低事務(wù)管理的復(fù)雜性。
4、連接池的分配與釋放
連接池的分配與釋放,對(duì)系統(tǒng)的性能有很大的影響。合理的分配與釋放,可以提高連接的復(fù)用度,從而降低建立新連接的開銷,同時(shí)還可以加快用戶的訪問速度。
對(duì)于連接的管理可使用空閑池。即把已經(jīng)創(chuàng)建但尚未分配出去的連接按創(chuàng)建時(shí)間存放到一個(gè)空閑池中。每當(dāng)用戶請(qǐng)求一個(gè)連接時(shí),系統(tǒng)首先檢查空閑池內(nèi)有沒有空閑連接。如果有就把建立時(shí)間最長(zhǎng)(通過容器的順序存放實(shí)現(xiàn))的那個(gè)連接分配給他(實(shí)際是先做連接是否有效的判斷,如果可用就分配給用戶,如不可用就把這個(gè)連接從空閑池刪掉,重新檢測(cè)空閑池是否還有連接);如果沒有則檢查當(dāng)前所開連接池是否達(dá)到連接池所允許的最大連接數(shù)(maxconn)如果沒有達(dá)到,就新建一個(gè)連接,如果已經(jīng)達(dá)到,就等待一定的時(shí)間(timeout)。如果在等待的時(shí)間內(nèi)有連接被釋放出來就可以把這個(gè)連接分配給等待的用戶,如果等待時(shí)間超過預(yù)定時(shí)間timeout 則返回空值(null)。系統(tǒng)對(duì)已經(jīng)分配出去正在使用的連接只做計(jì)數(shù),當(dāng)使用完后再返還給空閑池。對(duì)于空閑連接的狀態(tài),可開辟專門的線程定時(shí)檢測(cè),這樣會(huì)花費(fèi)一定的系統(tǒng)開銷,但可以保證較快的響應(yīng)速度。也可采取不開辟專門線程,只是在分配前檢測(cè)的方法。
5、連接池的配置與維護(hù)
連接池中到底應(yīng)該放置多少連接,才能使系統(tǒng)的性能最佳?系統(tǒng)可采取設(shè)置最小連接數(shù)(minconn)和最大連接數(shù)(maxconn)來控制連接池中的連接。最小連接數(shù)是系統(tǒng)啟動(dòng)時(shí)連接池所創(chuàng)建的連接數(shù)。如果創(chuàng)建過多,則系統(tǒng)啟動(dòng)就慢,但創(chuàng)建后系統(tǒng)的響應(yīng)速度會(huì)很快;如果創(chuàng)建過少,則系統(tǒng)啟動(dòng)的很快,響應(yīng)起來卻慢。這樣,可以在開發(fā)時(shí),設(shè)置較小的最小連接數(shù),開發(fā)起來會(huì)快,而在系統(tǒng)實(shí)際使用時(shí)設(shè)置較大的,因?yàn)檫@樣對(duì)訪問客戶來說速度會(huì)快些。最大連接數(shù)是連接池中允許連接的最大數(shù)目,具體設(shè)置多少,要看系統(tǒng)的訪問量,可通過反復(fù)測(cè)試,找到最佳點(diǎn)。
如何確保連接池中的最小連接數(shù)呢?有動(dòng)態(tài)和靜態(tài)兩種策略。動(dòng)態(tài)即每隔一定時(shí)間就對(duì)連接池進(jìn)行檢測(cè),如果發(fā)現(xiàn)連接數(shù)量小于最小連接數(shù),則補(bǔ)充相應(yīng)數(shù)量的新連接以保證連接池的正常運(yùn)轉(zhuǎn)。靜態(tài)是發(fā)現(xiàn)空閑連接不夠時(shí)再去檢查。
四、實(shí)際開發(fā)中有成熟的開源連接池供我們使用
理解了連接池的原理就可以了,沒有必要什么都從頭寫一遍,那樣會(huì)花費(fèi)很多時(shí)間,并且性能及穩(wěn)定性也不一定滿足要求。事實(shí)上,已經(jīng)存在很多流行的性能優(yōu)良的第三方數(shù)據(jù)庫連接池jar包供我們使用。如:
- Apache commons-dbcp
- c3p0
- Druid
- HikariCP
其中c3p0已經(jīng)很久沒有更新了。DBCP更新速度很慢,基本處于不活躍狀態(tài),而Druid和HikariCP處于活躍狀態(tài)的更新中。