作為互聯(lián)網(wǎng)最具技術(shù)含量應(yīng)用之一的搜索技術(shù),每天都在為幾十億的用戶服務(wù)。這些數(shù)據(jù)不僅海量且多樣化,如結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其中,數(shù)據(jù)的處理和生成都需要架構(gòu)技術(shù)的支持。
4月24日,由百度聯(lián)合DataFun、京東舉辦的百度技術(shù)沙龍第91期于線上召開,沙龍以“深入淺出話搜索:架構(gòu)技術(shù)最新應(yīng)用與實(shí)踐”為主題,邀請(qǐng)了來自百度和京東的多位嘉賓,就百度搜索中臺(tái)、云原生架構(gòu)、搜索離線架構(gòu)、內(nèi)容架構(gòu)Serverless化、京東搜索中臺(tái)化架構(gòu)等話題進(jìn)行了深入探討,也為開發(fā)者與企業(yè)提供了眾多搜索技術(shù)架構(gòu)方面的新思路。
百度自2012年發(fā)起技術(shù)沙龍活動(dòng)以來,每月舉辦一期,已面向超過9100名與會(huì)受眾舉辦了共91期活動(dòng),邀請(qǐng)了159位行業(yè)技術(shù)大牛、206位百度技術(shù)專家,內(nèi)容覆蓋軟件開發(fā)、大數(shù)據(jù)、深度學(xué)習(xí)等當(dāng)下熱門的技術(shù)話題,活動(dòng)旨在為開發(fā)者、技術(shù)人員提供一個(gè)自由的技術(shù)交流和分享平臺(tái)。
本期沙龍活動(dòng)中,來自百度的資深研發(fā)工程師首先對(duì)可觀測(cè)性進(jìn)行了介紹。隨著業(yè)界傳統(tǒng)技術(shù)架構(gòu)往云原生架構(gòu)的邁進(jìn),系統(tǒng)的復(fù)雜度也隨之提升,也增加了把系統(tǒng)狀態(tài)可視化的難度。在CNCF的云原生定義中,將可觀測(cè)性當(dāng)成云原生架構(gòu)很重要的一個(gè)特性。而在超大流量規(guī)模下,傳統(tǒng)的可觀測(cè)方案需要使用非常高的機(jī)器成本。搜索中臺(tái)在面臨這個(gè)問題時(shí),創(chuàng)新性的使用了在離線結(jié)合觀測(cè)的方式,在非常少的資源占用情況下,實(shí)現(xiàn)了海量流量的跟蹤Trace,兼顧了成本和效果。
隨后,從事圖片搜索、百度識(shí)圖等垂類架構(gòu)工作的百度資深研發(fā)工程師為大家介紹了百度視覺檢索、圖片搜索背后的AI技術(shù),并圍繞“圖片收錄處理中臺(tái)”分享了架構(gòu)設(shè)計(jì)思路,以及大吞吐、高算力背景下的離線流式處理系統(tǒng),以及千億級(jí)圖存儲(chǔ)引擎如何解決讀寫IO瓶頸等內(nèi)容;從萬級(jí)別吞吐、彈性計(jì)算、業(yè)務(wù)與架構(gòu)解耦、復(fù)用性等角度提供了寶貴的實(shí)戰(zhàn)經(jīng)驗(yàn)。
百度搜索中臺(tái)內(nèi)容架構(gòu)技術(shù)的負(fù)責(zé)人帶來了關(guān)于百度搜索中臺(tái)內(nèi)容架構(gòu)Serverless化實(shí)踐內(nèi)容。百度搜索中臺(tái)內(nèi)容計(jì)算的Serverless系統(tǒng)是從搜索中臺(tái)內(nèi)容架構(gòu)衍生出來,聚焦于讓業(yè)務(wù)低成本自定義加工處理數(shù)據(jù)生效系統(tǒng)。整體系統(tǒng)架構(gòu)分成三個(gè)層次:最上層是業(yè)務(wù)應(yīng)用層,是以業(yè)務(wù)全流程研發(fā)效率的提升,包括從接入開發(fā)、調(diào)試測(cè)試、問題排查、服務(wù)管理等全流程服務(wù)效率的提升;中間層服務(wù)層,以業(yè)務(wù)架構(gòu)(FaaS)和服務(wù)架構(gòu)(BaaS)為基石,實(shí)現(xiàn)業(yè)務(wù)邏輯核服務(wù)架構(gòu)充分解耦的復(fù)雜的函數(shù)編排,在保證服務(wù)質(zhì)量的同時(shí)支持以多種復(fù)用方式整合搜索中臺(tái)內(nèi)部強(qiáng)大的后端服務(wù)功能;最底層是控制層,包括支持極致自動(dòng)擴(kuò)縮、自動(dòng)適配等一系列自動(dòng)調(diào)度功能,以及解決異常問題的發(fā)現(xiàn)、分析和處理的智能控制系統(tǒng)。最終讓業(yè)務(wù)享受到Serverless降本增效的技術(shù)紅利,給業(yè)務(wù)公司帶來更好更快的發(fā)展。
最后,來自京東零售搜索架構(gòu)部的工程師分享了“京東電商搜索中臺(tái)化架構(gòu)實(shí)踐”,介紹了在中臺(tái)化大背景下,面對(duì)大量快速迭代的新業(yè)務(wù),京東零售搜索架構(gòu)如何進(jìn)行中臺(tái)化的技術(shù)升級(jí)。他不僅分享了做搜索中臺(tái)化的必要性和整體架構(gòu)、搜索中臺(tái)化的技術(shù)演進(jìn)之路和講師踩過的坑等技術(shù)干貨,并對(duì)觀眾關(guān)心的如插件化框架等多個(gè)問題進(jìn)行了詳細(xì)解答。
當(dāng)下,爆發(fā)式增長的數(shù)據(jù)量以及不斷優(yōu)化的各類算法模型,為人工智能的飛速發(fā)展打下根基。為了推動(dòng)和鼓勵(lì)相關(guān)技術(shù)的創(chuàng)新,使其在更多行業(yè)中落地應(yīng)用,“人才”的交流培養(yǎng)成為其中的重要途徑之一。百度技術(shù)沙龍正通過“有趣,有料,有溫度”的方式,為AI生態(tài)繁榮,注入人才的新鮮血液。