互聯網上存在很多開源情報(Open-Source Intelligence,OSINT)信息,其中開源是指公眾容易獲取和分發的信息或程序;情報是獲取和應用知識的能力。總的來說,開源情報就是從公開來源獲取、收集和分析信息以產生有價值情報的過程,其來源包括互聯網、社交媒體、學術和專業期刊、報紙、電視甚至某些被違規泄露的數據。
在這個信息大爆炸的時代,OSINT 對于深度依賴有效信息獲取的安全防護工作顯得尤為重要。如果被合理利用,這些數據將能幫助分析師更準確了解事件的真相。然而,手動檢索開源情報是一項艱巨的任務,有太多的記錄和數據需要處理。值得慶幸的是,市場上存在許多工具可以自動化完成開源情報信息的搜集。以下整理了目前業界常用的 12 種功能強大的 OSINT 工具,即便是非專業安全人員,也能夠輕松使用。
1. OSINT Framework
OSINT Framework 是一個包含不同工具的網站,用戶可以使用這些工具在不同的系統和知識庫中查詢開源情報信息,包括電子郵件地址、社交媒體、域名、搜索引擎、公共記錄、文檔甚至電話號碼等。
比如用戶想了解 “社交媒體” 相關信息,OSINT Framework 就會將其細分出子部分列表,如 Facebook、Twitter、Instagram、Reddit、LinkedIn 等,用戶可以進一步選擇子分類,其中就會包含搜索、分析、圖片、位置和存儲 / 刪除的推文等。當選擇 “分析” 后,它還會呈現推文元數據、Birdwatcher、Tinfoleak 等細分部分。
2. Wayback machine
Wayback Machine 被稱為互聯網的數字檔案館。它用于管理、捕獲和歸檔網站在一段時間內的快照,即使原始網頁被刪除或改動,用戶仍然可以查閱曾經的網頁快照。目前,Wayback Machine 每天收到的請求數(包括查閱和存檔請求)超過 10 億次,累計已經緩存了近 7000 億個不同時刻下的各種網頁頁面。
用戶可以通過 Wayback Machin 的 “保存頁面” 服務存檔上億個網站,如果注冊了免費賬戶,還可以要求抓取相關頁面的 “外部鏈接”(outlink),并通過電子郵件接收抓取情況的報告。
當需要回溯歷史信息時,Wayback Machin 會以 “年份選擇器” 和 “日期選擇器” 的形式向用戶呈現該網站的所有保存記錄。如果想比較兩個不同網頁存檔之間的差異,可以使用 Wayback Machin 的 “查閱改動”(Changes)功能來實現這一點。
3. Maltego
Maltego 主要通過使用開源情報技術查詢諸如 DNS 記錄、whois 記錄、搜索引擎、社交網絡、各種在線 API 和元數據提取之類的源頭,從而發現這些信息之間的鏈接。Maltego 程序通過自動搜索不同的公共數據源來工作,因此用戶可以單擊一個按鈕并執行多個查詢,每次執行的查詢可以返回多達 12 個實體。由于該程序使用公共接口來執行搜索,因此它幾乎可以與任何具有公共接口的信息源兼容。
一旦收集到信息,Maltego 就會建立鏈接,以展現姓名、電子郵件地址、別名、公司、網站、文檔所有者、附屬機構和其他可能對調查有用的信息之間的隱藏關系,或尋找潛在的未來問題。它可以在 windows、linux 和 Mac 上下載,并且預裝在 Kali Linux 中。
該程序有一個免費版本,功能有限,稱為 Maltego CE。Maltego PRO 版本主要針對專業調查人員和小型團隊的計劃,包括 Maltego One 桌面、所有 Maltego 標準轉換,以及訪問商業轉換中心(查看所有功能的完整列表)。
4. Have I Been Pwned
Have I Been Pwned 是 Troy Hunt 創建的免費網站資源,該網站收集了大量被拖庫的數據庫,可供用戶查詢自己的個人信息是否因數據泄露受到損害。用戶只需在搜索框中輸入要查詢的姓名或電話號碼,它就會搜索泄露數據庫以查看對應的憑據是否已遭泄露。如果發現相關泄露事件,下滑頁面就可以看到泄漏的信息。
5. Shodan
Shodan 是一個專用搜索引擎,用于搜索互聯網和連接到它的不同網絡服務器。這意味著使用 Shodan,用戶就可以瀏覽其數據庫以查找連接到互聯網的設備,例如路由器、物聯網(IoT)設備、監視器、安全攝像頭、交通信號燈等。
作為一款功能強大的 OSINT 工具,Shodan 可以監控和搜索的范圍體量令人震驚。它是少數能夠檢查操作技術(OT)的引擎之一。如果沒有像 Shodan 這樣的工具,想要在部署 IT 和 OT 的行業中收集開源情報會存在很大的缺失。
Shodan 創建賬號是免費的,但是可以免費查詢到的信息少得可憐。如果要進一步查詢更多的信息,用戶需要購買 Shodan 的會員服務。除了個人版本,Shodan 還推出了小型企業版和企業高級版的收費版本,其中小型企業可掃描多達 65,536 個 IP 地址,并返回多達兩千萬個結果;企業高級版提供無限的返回結果以及每月最多 327,680 個 IP 掃描,還包括漏洞搜索過濾器和高級支持等服務。
6. ZoomEye
ZoomEye 是由我國安全公司知道創宇(Knownsec Inc.)創建的搜索引擎。最初上線時,很多人將 ZoomEye 視為國內版本的 Shodan,但實際上 ZoomEye 和 Shodan 還是有差別的,因為 ZoomEye 除了設備指紋的掃描以外,還增加了對域名和 Web 服務器的指紋掃描,包括前端框架、后端框架、服務端語言、服務器操作系統、網站容器、內容管理系統和數據庫等。
ZoomEye 擁有兩大探測引擎:Xmap 和 Wmap,通過持續性的探測、識別,可有效標識出互聯網設備及網站所使用的服務及組件。研究人員可以通過 ZoomEye 方便地了解網絡資產分布情況及漏洞的危害范圍等信息。
7. TinEye
TinEye 是 Idée 公司所開發的一個反向圖像搜索和圖像識別網站,2008 年就已經正式上線應用。它使用計算機視覺、模式識別、神經網絡和機器學習來提供快速準確的搜索解決方案。要使用 TinEye,只需將用戶想要獲取信息的圖像上傳到網站即可。該站點將獲取有關圖片位置、來源、使用甚至更高分辨率的信息。
8. Censys Search
Censys Search 是一個基于網絡的搜索引擎,其創建之初的目的主要是用作學術研究,自身定位也是一個公益項目,由密歇根大學和 Rapid7 公司合作完成。Censys 官網上這樣定義該搜索引擎:“Censys Search 是一款搜索引擎,它允許計算機科學家了解組成互聯網的設備和網絡。Censys 由互聯網范圍的掃描驅動,使得研究人員能夠找到特定的主機,并能夠將設備、網站和證書的配置和部署信息創建到一個總體報告中。” 像 Shodan 一樣,它會在互聯網上搜索服務器以及聯網設備。此外,它還能夠識別聯網的工業控制系統和平臺。
9. BuiltWith
BuiltWith 是一款用于發現流行網站構建技術和編程語言的工具。它是一個網站分析器、商業智能(BI)、潛在客戶生成和競爭分析工具。BuiltWith 還會生成一個網站使用的已知 JAVAScript/css 庫(例如 jQuery 或 Bootstrap)的完整列表。此外,該服務還提供安裝在網站上的插件列表、框架、服務器信息、分析和跟蹤信息等。在實際應用中,如果將 BuiltWith 與 wpscan 等網站安全掃描程序結合使用,可以讓安全人員更容易發現影響網站安全的常見漏洞。
10. Nmap
Nmap 是一款免費的網絡和端口掃描器,用于發現在網絡或網站上運行的服務操作系統、主機和開放端口。它在 Web 上可用,并且在大多數常見操作系統上都能被支持。
Nmap 的功能包括:
? 主機發現:識別網絡上的主機;
? 端口掃描:枚舉目標主機上的開放端口;
? 版本檢測:詢問遠程設備上的網絡服務以確定應用程序名稱和版本號;
?OS 檢測:確定網絡設備的操作系統和硬件特性;
? 腳本交互:使用 Nmap 腳本引擎(NSE)和 Lua 編程語言。
11. Recon-ng
Recon-ng 是一款基于 Python/ target=_blank class=infotextkey>Python 開發,通過命令行來操作的信息收集工具。Recon-ng 可以進行 DNS 信息收集、域名信息收集、郵件信息收集、結合搜索引擎進行信息收集,是一個功能強大的 Web 偵察框架。
Recon-ng 采用模塊化設計框架,具有許多內置功能,使得即便是最初級 Python 開發人員也可以創建公開可用數據搜索并返回良好的結果。開發人員無需編寫 Recon-ng 腳本來執行搜索,只需選擇他們希望其執行的功能,就可以在幾分鐘內構建一個自動化模塊。
12. The Harvester
The Harvester 是一款開源情報工具,用于收集有關電子郵件、網站、子域、開放端口、虛擬主機等信息。The Harvester 使用的來源包括流行的搜索引擎,如 Bing 和 google,以及較少見的搜索引擎,如 dogpile、DNSdumpster 和 Exalead 元數據引擎。它甚至可以利用 Shodan 搜索引擎來尋找已發現主機上的開放端口。
The Harvester 無需任何特殊準備即可訪問大多數公共資源。但是,其使用的部分功能需要 API 密鑰。此外,用戶的使用環境中還必須有 Python 3.6 或更高版本。
來源:安全牛
原文鏈接:https://mp.weixin.qq.com/s/h5urkIlULd3T6z3iRTgIrw
————————————————
原文作者:安全牛
轉自鏈接:https://www.wangan.com/p/7fy7f8fc2d2761ae
版權聲明:著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請保留以上作者信息和原文鏈接。