上手開源的對等 Web 索引器 YaCy。-- Seth Kenlon（作者）
很久以前，互聯(lián)網(wǎng)很小，小到幾個人就可以索引它們，這些人收集了所有網(wǎng)站的名稱和鏈接，并按主題將它們分別列在頁面或印刷書籍中。隨著萬維網(wǎng)網(wǎng)絡的發(fā)展，形成了“網(wǎng)站環(huán)”形式，具有類似的內(nèi)容、主題或敏感性的站點捆綁在一起，形成了通往每個成員的循環(huán)路徑。環(huán)中任何站點的訪問者都可以單擊按鈕以轉(zhuǎn)到環(huán)中的下一個或上一個站點，以發(fā)現(xiàn)與其興趣相關(guān)的新站點。
又過了一段時間，互聯(lián)網(wǎng)似乎變得臃腫不堪了。每個人都在網(wǎng)絡上，有很多冗余信息和垃圾郵件，多到讓你無法找到任何東西。Yahoo 和 AOL、CompuServe 以及類似的服務各自采用了不同的方法來解決這個問題，但是直到谷歌出現(xiàn)后，現(xiàn)代的搜索模型才得以普及。按谷歌的做法，互聯(lián)網(wǎng)應該通過搜索引擎進行索引、排序和排名。
為什么選擇開源替代品？
像谷歌和 DuckDuckGo 這樣的搜索引擎顯然是卓有成效的。你可能是通過搜索引擎訪問的本站。盡管對于因主機沒有選擇遵循優(yōu)化搜索引擎的最佳實踐從而導致會內(nèi)容陷入困境這件事仍存在爭論，但用于管理豐富的文化、知識和輕率的信息（即互聯(lián)網(wǎng)）的現(xiàn)代解決方案是冷冰冰的索引。
但是也許出于隱私方面的考慮，或者你希望為使互聯(lián)網(wǎng)更加獨立而做出貢獻，你或許不愿意使用谷歌或 DuckDuckGo。如果你對此感興趣，那么可以考慮參加 YaCy ，這是一個對等互聯(lián)網(wǎng)索引器和搜索引擎。
安裝 YaCy
要安裝并嘗試 YaCy，請首先確保已安裝 JAVA。如果你使用的是 linux，則可以按照我的《 如何在 Linux 上安裝 Java 》中的說明進行操作。如果你使用 windows 或 macOS，請從 AdoptOpenJDK.net 獲取安裝程序。
安裝 Java 后，請根據(jù)你的平臺 下載安裝程序 。
如果你使用的是 Linux，請解壓縮 tarball 并將其移至 /opt 目錄：
$ sudo tar --extract --file yacy_*z --directory /opt
根據(jù)下載的安裝程序的說明啟動 YaCy。
在 Linux 上，啟動在后臺運行的 YaCy：
$ /opt/startYACY.sh &
在 Web 瀏覽器中，導航到 localhost:8090 并進行搜索。
YaCy start page
將 YaCy 添加到你的地址欄
如果你使用的是 Firefox Web 瀏覽器，則只需單擊幾下，即可在 Awesome Bar（Mozilla 給 URL 欄起的名稱）中將 YaCy 設(shè)置為默認搜索引擎。
首先，如果尚未顯示，在 Firefox 工具欄中使專用搜索欄顯示出來（你不必使搜索欄保持一直可見；只需要激活它足夠長的時間即可添加自定義搜索引擎）。Firefox 右上角的“漢堡”菜單中的“自定義”菜單中提供了搜索欄。在 Firefox 工具欄上的搜索欄可見后，導航至 localhost:8090，然后單擊剛添加的 Firefox 搜索欄中的放大鏡圖標。單擊選項將 YaCy 添加到你的 Firefox 的搜索引擎中。
Adding YaCy to Firefox
完成此操作后，你可以在 Firefox 首選項中將其標記為默認值，或者僅在 Firefox 搜索欄中執(zhí)行的搜索中選擇性地使用它。如果將其設(shè)置為默認搜索引擎，則可能不需要專用搜索欄，因為 Awesome Bar 也使用默認引擎，因此可以將其從工具欄中刪除。
對等搜索引擎如何工作
YaCy 是一個開源的分布式搜索引擎。它是用 Java 編寫的，因此可以在任何平臺上運行，并且可以執(zhí)行 Web 爬網(wǎng)、索引和搜索。這是一個對等（P2P）網(wǎng)絡，因此每個運行 YaCy 的用戶都將努力地不斷跟蹤互聯(lián)網(wǎng)的變化情況。當然，沒有單個用戶能擁有整個互聯(lián)網(wǎng)的完整索引，因為這將需要一個數(shù)據(jù)中心來容納，但是該索引分布在所有 YaCy 用戶中且是冗余的。它與 BitTorrent 非常相似（因為它使用分布式哈希表 DHT 來引用索引條目），只不過你所共享的數(shù)據(jù)是單詞和 URL 關(guān)聯(lián)的矩陣。通過混合哈希表返回的結(jié)果，沒人能說出誰搜索了哪些單詞，因此所有搜索在功能上都是匿名的。這是用于無偏見、無廣告、未跟蹤和匿名搜索的有效系統(tǒng)，你只需要使用它就加入了它。
搜索引擎和算法
索引互聯(lián)網(wǎng)的行為是指將網(wǎng)頁分成單個單詞，然后將頁面的 URL 與每個單詞相關(guān)聯(lián)。在搜索引擎中搜索一個或多個單詞將獲取與該查詢關(guān)聯(lián)的所有 URL。YaCy 客戶端在運行時也是如此。
客戶端要做的另一件事是為你的瀏覽器提供搜索界面。你可以將 Web 瀏覽器指向 localhost:8090 來搜索 YaCy，而不是在要搜索時導航到谷歌。你甚至可以將其添加到瀏覽器的搜索欄中（取決于瀏覽器的可擴展性），因此可以從 URL 欄中進行搜索。
YaCy 的防火墻設(shè)置
首次開始使用 YaCy 時，它可能運行在“初級”模式下。這意味著你的客戶端爬網(wǎng)的站點僅對你可用，因為其他 YaCy 客戶端無法訪問你的索引條目。要加入對等環(huán)境，必須在路由器的防火墻（或者你正在運行的軟件防火墻）中打開端口 8090，這稱為“高級”模式。
如果你使用的是 Linux，則可以在《 使用防火墻讓你的 Linux 更加強大 》中找到有關(guān)計算機防火墻的更多信息。在其他平臺上，請參考操作系統(tǒng)的文檔。
互聯(lián)網(wǎng)服務提供商（ISP）提供的路由器上幾乎總是啟用了防火墻，并且有太多種類的防火墻無法準確說明。大多數(shù)路由器都提供了在防火墻上“打洞”的選項，因為許多流行的聯(lián)網(wǎng)游戲都需要雙向流量。
如果你知道如何登錄路由器（通常為 192.168.0.1 或 10.1.0.1，但可能因制造商的設(shè)置而異），則登錄并查找配置面板來控制“防火墻”或“端口轉(zhuǎn)發(fā)”或“應用”。
找到路由器防火墻的首選項后，將端口 8090 添加到白名單。例如：
Adding YaCy to an ISP router
如果路由器正在進行端口轉(zhuǎn)發(fā)，則必須使用相同的端口將傳入的流量轉(zhuǎn)發(fā)到計算機的 IP 地址。例如：
Adding YaCy to an ISP router
如果由于某種原因無法調(diào)整防火墻設(shè)置，那也沒事。YaCy 將繼續(xù)以初級模式運行并作為對等搜索網(wǎng)絡的客戶端運行。
你的互聯(lián)網(wǎng)
使用 YaCy 搜索引擎可以做的不僅僅是被動搜索。你可以強制抓取不太顯眼的網(wǎng)站，可以請求對網(wǎng)站進行網(wǎng)絡抓取，可以選擇使用 YaCy 進行本地搜索等等。你可以更好地控制你的互聯(lián)網(wǎng)的所呈現(xiàn)的一切。高級用戶越多，索引的網(wǎng)站就越多。索引的網(wǎng)站越多，所有用戶的體驗就越好。加入吧！
via: https://opensource.com/article/20/2/open-source-search-engine
作者： Seth Kenlon 選題： lujun9972 譯者： wxy 校對： wxy
本文由 LCTT 原創(chuàng)編譯， Linux中國 榮譽推出
