隨著車企、手機廠商、家電等制造企業(yè)業(yè)務的快速發(fā)展，軟件應用開發(fā)規(guī)模也隨之不斷擴大。不同類型的交付制品的管理也成為DevOps落地的一大難題。制品分散管理，存儲隨意，下載困難，分發(fā)緩慢等現象長期受到產線用戶挑戰(zhàn)，急需快速解決。經過業(yè)務場景分析及用戶調研后，總結為以下通用問題：
痛點
1，制品存量大
制品達到PB級別，分散存儲到S3及EMC存儲上，管理分散，浪費存儲，并且數據量在成倍增長。
沒有合理的制品清理機制，導致過多無效存儲
2，制品質量缺失
制品無質量標簽，篩選版本復雜，增加迭代時間，測試人員經常下錯版本，浪費時間
制品無版本概念，經常出現制品覆蓋現象，最終導致發(fā)布失敗
3，制品分發(fā)復雜
由于存量過大，國內多地研發(fā)中心、海外研發(fā)中心同步制品不可行，多地傳輸浪費帶寬
制品無統一管理，分散到不同團隊，不同集群上，不便于數據資產梳理
制品往往需要分發(fā)到不同的工廠、合作伙伴、售后站及IoT終端，場景復雜
4，制品下載緩慢
單文件最大達到100G+，下載時經常出現丟包、中斷等現象，用戶體驗極差，浪費時間
解決方案
1，解決性能瓶頸
在下述部署條件下進行性能測試，得到了一份超級滿意的測試報告，在極端數據讀寫的壓力下，6節(jié)點Artifactory的每小時吞吐量達到了10TB級別，目前基本可以承載國內所有軟件研發(fā)企業(yè)制品的吞吐量，具體測試報告可以聯系JFrog的工程蛙們了解測試細節(jié)。
2，解決制品大批量下載問題
JFrog提供高性能下載工具jfrog cli，可實現分片、多線程、斷點續(xù)傳等下載方式，基本可以打滿網絡帶寬
JFrog在服務端提供cache技術，可實現有ssd磁盤緩存熱文件策略，如緩存空間大，可緩存所有熱文件，提升下載速度
由于服務端網絡端口依然存在瓶頸，可使用p2p技術進行分流，提升下載速度3-4倍
3，異地分發(fā)能力
私有化部署+Saas服務，實現制品庫多云多數據中心混合架構，通過倉庫聯邦及高速分發(fā)兩種策略，鏈接世界所有節(jié)點，實現制品分發(fā)
用戶案例
某手機廠商案例
1，某手機廠商，使用JFrog Artifactory 6個節(jié)點，架構設計如下：
承載業(yè)務量：
接管整機構建daily及Release項目50個，每月420T整機制品包，目前共存儲4PB+數據
接管組件構建項目11000個，每周組件個數231000，150T組件包，目前共存儲1PB+數據
每小時上傳流量接近3TB，下載流量接近2TB
峰值上傳流量15G/S，下載流量5G/S
制品庫存儲總量達到了6PB
2，解決質量缺失
通過JFrog Artifactory的元數據及AQL功能，確保每個制品均具備10條以上的質量數據標簽，實現開發(fā)與測試之間零溝通，使版本具備自動化篩選能力，避免下錯版本，浪費時間。
具體實現為，開發(fā)團隊構建制品版本，并將過程數據、需求數據、測試數據、匹配機型數據等自動補全在制品的元數據屬性中，如未攜帶此數據，則無法成功上傳。測試人員在使用制品進行燒機測試時，則通過自動化腳本，自動篩選符合自己機型并具備一定質量屬性的制品，自動測試，整個版本篩選過程無需人與人的溝通，一切自動化完成，提高效率，避免出錯。
通過此項改進，獲取了如下收益：
打造制品可信平臺，確保所有交付組件包攜帶質量元數據，便于快速定位版本
制品清理機制，定期實現制品清理
3，解決制品分發(fā)
在此方案架構下，為了統一管理集團所有產線制品，后期將制品分布在5個Artifactory集群中管理，其中app應用使用一個物理集群，不同產線整機版本各使用一個集群，私服及Docker鏡像使用一個集群。由前段CI工具統一控制制品寫入位置及讀取位置。另外在成都、重慶、上海分中心建立只讀集群、實現制品快速分發(fā)，多地可讀。同時在印度、印尼、孟加拉、阿爾及利亞等地工廠建立只讀集群，按需分發(fā)制品到工廠。
為了優(yōu)化下載速度，該方案中使用了JFrog Artifactory的p2p下載功能，在不同地域的分廠中沒有設置只讀節(jié)點，而是使用p2p的peer節(jié)點，節(jié)約成本，加速下載。整體制品庫架構如下：
