在既有系統(tǒng)中打通Apache Ignite、MySQL和Node.js

本文由公眾號(hào)EAWorld翻譯發(fā)表，轉(zhuǎn)載需注明出處。

作者：Akmal B. Chaudhri

譯者：李玉玨

原題：Using 'No Rip and Replace' with Apache® Ignite™, MySQL and Node.js

原文：http://t.cn/Efatkx6

介紹

在本文中，可以看一下Ignite在處理其它數(shù)據(jù)源（比如關(guān)系數(shù)據(jù)庫(kù)）的已有數(shù)據(jù)時(shí)，一個(gè)很有用的場(chǎng)景。

通常在行業(yè)領(lǐng)域，很多系統(tǒng)還有著巨大的商業(yè)價(jià)值，它們必須得到維護(hù)甚至加強(qiáng)，未被開(kāi)發(fā)的領(lǐng)域已經(jīng)很少見(jiàn)了。而Ignite可以用于組織中的遺留系統(tǒng)或傳統(tǒng)系統(tǒng)，以增加它們的價(jià)值并提供新的可能性，例如具有水平可擴(kuò)展性的集群計(jì)算、顯著的內(nèi)存級(jí)性能優(yōu)勢(shì)以及使用機(jī)器和深度學(xué)習(xí)的新應(yīng)用等等。

具體可以看一個(gè)示例，其中在關(guān)系數(shù)據(jù)庫(kù)中已經(jīng)有了一些數(shù)據(jù)，然后了解Ignite如何將該數(shù)據(jù)緩存到內(nèi)存中，對(duì)該內(nèi)存數(shù)據(jù)執(zhí)行SQL操作并將更改回寫(xiě)關(guān)系數(shù)據(jù)庫(kù)，這里將使用一些Node.js代碼來(lái)訪問(wèn)Ignite并執(zhí)行一些SQL查詢。

已有的數(shù)據(jù)庫(kù)系統(tǒng)

本文中使用了MySQL，并且其中已經(jīng)準(zhǔn)備好了一個(gè)名為world的數(shù)據(jù)庫(kù)，里面已經(jīng)加載了部分?jǐn)?shù)據(jù)。

這個(gè)world數(shù)據(jù)庫(kù)的結(jié)構(gòu)為有三張關(guān)系表，具體如下：

country：代表世界上的國(guó)家（239行數(shù)據(jù)）；
city：代表國(guó)家的部分城市信息（4079行數(shù)據(jù)）；
countrylanguage：各個(gè)國(guó)家說(shuō)的語(yǔ)言（984行數(shù)據(jù)）。

接下來(lái)，確認(rèn)MySQL是否已經(jīng)成功啟動(dòng)，并接受外部連接。

Web控制臺(tái)和Web代理

為了訪問(wèn)MySQL數(shù)據(jù)庫(kù)的模式信息，需要使用Ignite的Web控制臺(tái)，在本文中為了方便，使用的是GridGain托管的服務(wù)，不過(guò)Web控制臺(tái)的源代碼是可以下載的，可以在本地構(gòu)建然后在公司的防火墻后面運(yùn)行，具體細(xì)節(jié)可以參見(jiàn)相關(guān)的文檔。

還需要一個(gè)Web代理，它可以從Web控制臺(tái)中下載，如下圖所示：

在既有系統(tǒng)中打通Apache Ignite、MySQL和Node.js

Web代理的zip包下載完成之后，可以解壓該文件，目錄結(jié)構(gòu)大致如下圖所示：

注意這里有個(gè)名為jdbc-drivers的目錄，因?yàn)楸纠枰L問(wèn)MySQL，所以需要下載MySQL的驅(qū)動(dòng)，然后將jar文件放在該文件夾中，如下圖所示：

下面從終端窗口中啟動(dòng)Web代理，如下：

./ignite-web-agent.sh

輸出大致如下圖所示：

從MySQL中導(dǎo)入模式

下面就可以導(dǎo)入模式信息了，在Web控制臺(tái)的Configuration頁(yè)面中，右上角有一個(gè)Import from Database按鈕，如下圖所示：

點(diǎn)擊該按鈕之后，輸出大致如下圖所示：

在這個(gè)界面中，需要輸入MySQL服務(wù)器的JDBC URL、User和Password，大致如下圖所示：

填完之后點(diǎn)擊Next，這時(shí)就會(huì)看到各個(gè)數(shù)據(jù)庫(kù)模式，然后把除了world模式之外的都取消掉，如下圖所示：

選好之后，點(diǎn)擊Next，就會(huì)看到3張表，如下圖所示：

對(duì)于本文來(lái)說(shuō)，這頁(yè)面中的默認(rèn)值就可以了，然后點(diǎn)擊Next，這會(huì)跳到如下圖所示的頁(yè)面：

對(duì)于本文來(lái)說(shuō)，這個(gè)頁(yè)面的默認(rèn)值就可以，然后點(diǎn)擊Save：

接下來(lái)在Configuration頁(yè)面，可以看到列出了一個(gè)新的名為ImportedCluster配置項(xiàng)，如下圖所示：

為了滿足業(yè)務(wù)需求，這個(gè)配置是可以修改的。

修改配置

如果點(diǎn)擊上圖中的ImportedCluster，就會(huì)跳轉(zhuǎn)到下面的頁(yè)面：

這個(gè)界面中有兩個(gè)選項(xiàng)卡：Basic和Advanced。

在Basic選項(xiàng)卡中，集群的配置名（第一步），如果往下滾動(dòng)，Ignite存儲(chǔ)的名字（第二步），還有其它的若干個(gè)參數(shù)，都可以修改，在本例中，會(huì)維持這個(gè)頁(yè)面中的默認(rèn)值。

在Advanced選項(xiàng)卡中，還有其它的子項(xiàng)，包括Cluster、SQL Scheme、Caches、IGFS和GridGain，如下圖所示，如果需要，這里面的很多參數(shù)都可以微調(diào)：

這里選擇SQL Scheme選項(xiàng)卡，選中City這一行，如下圖所示，然后向下滾動(dòng)并展開(kāi)Domain model for SQL query部分：

這里有一個(gè)indexes子項(xiàng)，值為CountryCode，如果點(diǎn)擊它，可以進(jìn)行修改，如下圖所示：

這里將索引名改為idx_country_code，然后點(diǎn)擊Save按鈕。接下來(lái)為Countrylanguage重復(fù)前圖和上圖的過(guò)程，將索引名改為idx_lang_country_code之后保存更改，做這些修改，可以確保索引名在整個(gè)Ignite模式中是唯一的。

下面選擇Caches選項(xiàng)卡，首先選擇CityCache，如下圖所示，然后往下滾動(dòng)并展開(kāi)Queries & Indexing部分：

在Queries & Indexing中，有一個(gè)值為空名為SQL schema name的字段，在這里輸入PUBLIC后保存變更，然后為CountryCache和CountrylanguageCache重復(fù)這個(gè)過(guò)程。

最后，返回到Configuration頁(yè)面，選中ImportedCluster然后在Actions下拉框中下載這個(gè)工程，如下圖所示：

這時(shí)會(huì)保存一個(gè)名為ImportedCluster-project.zip的文件，解壓這個(gè)文件之后就可以在IDE中通過(guò)讀取其中的pom.xml文件創(chuàng)建一個(gè)新的工程，如下圖所示：

在pom.xml文件中，在dependencies下面，需要檢查一下mysql-connector-JAVA依賴，如果缺失，需要加一下，如下所示：

<dependency> 
 <groupId>mysql</groupId> 
 <artifactId>mysql-connector-java</artifactId> 
 <version>8.0.15</version> 
</dependency>

這里的版本號(hào)匹配了之前使用的JDBC驅(qū)動(dòng)的版本號(hào)。

在這個(gè)工程中，在resources文件夾下面，有一個(gè)名為secret.properties的文件，如下圖所示：

這里需要填入之前使用的JDBC URL、Username和Password，然后保存修改。

工程重新構(gòu)建之后，就可以啟動(dòng)一個(gè)Ignite服務(wù)端節(jié)點(diǎn)，如下圖所示：

接下來(lái)，通過(guò)運(yùn)行LoadCaches，可以把MySQL中的數(shù)據(jù)加載進(jìn)Ignite存儲(chǔ)，如下圖所示：

在Web控制臺(tái)中，轉(zhuǎn)到Monitoring > Dashboard > Caches，可以看到Ignite存儲(chǔ)已經(jīng)創(chuàng)建并且數(shù)據(jù)也已經(jīng)成功加載，如下圖所示：

Ignite現(xiàn)在已經(jīng)運(yùn)行起來(lái)，創(chuàng)建了存儲(chǔ)并且從MySQL中加載了數(shù)據(jù)，這時(shí)就可以通過(guò)任意數(shù)量不同的接口接入Ignite，不過(guò)本文會(huì)使用Node.js瘦客戶端。

Node.js瘦客戶端

使用Ignite提供的Node.js版本SQL示例作為模板，可以創(chuàng)建若干個(gè)Node.js應(yīng)用，然后執(zhí)行下表中列出的SQL查詢，完整的Node.js應(yīng)用代碼可以參見(jiàn)GitHub，在下面的例子中，該Node.js應(yīng)用在Ignite的Node.js示例文件夾中運(yùn)行：

Q1：3個(gè)人口最多的國(guó)家

SELECT name, MAX(population) 
AS max_pop FROM country 
GROUP BY name, population 
ORDER BY max_pop 
DESC LIMIT 3

Q2：US、RUS和CHN中3個(gè)人口最多的城市

SELECT country.name, city.name, MAX(city.population) 
AS max_pop FROM country 
JOIN city ON city.countrycode = country.code 
WHERE country.code IN ('USA','RUS','CHN') 
GROUP BY country.name, city.name 
ORDER BY max_pop 
DESC LIMIT 3

Q3：更新國(guó)家名稱

SELECT country.name, city.name, MAX(city.population) 
AS max_pop FROM country 
JOIN city ON city.countrycode = country.code 
WHERE country.code IN ('USA','RUS','CHN') 
GROUP BY country.name, city.name 
ORDER BY max_pop 
DESC LIMIT 3

Q4：恢復(fù)國(guó)家名稱

UPDATE country 
SET name = 'United States' 
WHERE name = 'USA'

Q1的輸出如下圖所示：

Q2比Q1復(fù)雜些，包含了兩個(gè)表的關(guān)聯(lián)，Q2的輸出大致如下圖所示：

Q3執(zhí)行了一個(gè)更新操作，Q3執(zhí)行完之后，Ignite的緩存會(huì)被更新，并且更新會(huì)被回寫(xiě)到MySQL中，保持兩者之間的同步。可以使用DBeaver確認(rèn)一下，首先在Country表中找到值為United States的行，如下圖所示：

Q3執(zhí)行完之后刷新一下DBeaver，可以看到Name字段的值已經(jīng)變?yōu)閁SA，如下圖所示：

Q4恢復(fù)了原來(lái)的值，通過(guò)執(zhí)行這個(gè)SQL然后刷新一下DBeaver可以進(jìn)行驗(yàn)證，如下圖所示：

下一步

通過(guò)修改和調(diào)整Ignite附帶的示例，可以進(jìn)一步測(cè)試Node.js瘦客戶端。此外，Web控制臺(tái)提供了許多選項(xiàng)，可用于從現(xiàn)有數(shù)據(jù)庫(kù)系統(tǒng)微調(diào)和調(diào)整模式信息，具體可以參見(jiàn)Web控制臺(tái)的相關(guān)文檔。

總結(jié)

在本文中，了解了如何從現(xiàn)有的MySQL數(shù)據(jù)庫(kù)系統(tǒng)中獲取模式信息并創(chuàng)建一個(gè)Ignite工程。這個(gè)Ignite工程能夠?qū)?shù)據(jù)從MySQL服務(wù)器復(fù)制到Ignite存儲(chǔ)，然后在該數(shù)據(jù)中執(zhí)行查詢。從規(guī)模上看，Ignite可以利用集群計(jì)算的強(qiáng)大功能使操作并行化，在內(nèi)存中快速執(zhí)行查詢并進(jìn)行分析，甚至機(jī)器和深度學(xué)習(xí)，同時(shí)還保留現(xiàn)有系統(tǒng)的商業(yè)價(jià)值。雖然在本示例中使用了Node.js瘦客戶端，不過(guò)Ignite還支持其它編程語(yǔ)言的瘦客戶端。

關(guān)于作者：李玉玨，大連理工大學(xué)畢業(yè)，架構(gòu)師，創(chuàng)業(yè)者，有豐富的架構(gòu)設(shè)計(jì)和技術(shù)研發(fā)團(tuán)隊(duì)管理經(jīng)驗(yàn)，有眾多行業(yè)領(lǐng)域企業(yè)級(jí)軟件的從業(yè)經(jīng)歷，社區(qū)技術(shù)翻譯作者以及撰稿人，開(kāi)源技術(shù)貢獻(xiàn)者。Apache Ignite 技術(shù)中文文檔翻譯作者，長(zhǎng)期在國(guó)內(nèi)進(jìn)行 Ignite 技術(shù)的推廣/技術(shù)支持/咨詢工作。

關(guān)于EAWorld：微服務(wù)，DevOps，數(shù)據(jù)治理，移動(dòng)架構(gòu)原創(chuàng)技術(shù)分享