本文來自微信公眾號“嘶吼專業(yè)版”，作者/布加迪。
在機(jī)器人程序（bot）與欺詐預(yù)防系統(tǒng)無休止的較量中，無處不在的網(wǎng)站抓?。╳ebsite scraping）威脅已滲入到了互聯(lián)網(wǎng)的各個角落。由于隱密算法以及組織對數(shù)據(jù)貪得無厭的需求，網(wǎng)站抓取攻擊構(gòu)成了一大挑戰(zhàn)，嚴(yán)重威脅到了隱私和安全。
網(wǎng)站抓取有利可圖，以至于它已催生了一個兜售“抓取即服務(wù)”的非法行當(dāng)。這些影子企業(yè)繞過了機(jī)器人程序防御系統(tǒng)，為攻擊者打開了閘門，從中大肆竊取數(shù)據(jù)。
抓取即服務(wù)簡介
實際上，利用“抓取即服務(wù)”平臺的網(wǎng)絡(luò)犯罪分子可以部署一群虛擬機(jī)器人程序來模仿人類行為，這使得傳統(tǒng)的安全系統(tǒng)極難辨別合法活動和惡意活動。通過利用這項技術(shù)，不法分子不僅可以獲取敏感信息，還可以發(fā)動針對性的攻擊、操縱在線內(nèi)容，甚至擾亂或破壞數(shù)字服務(wù)。事實上，最近的一份報告指出，近40%的受訪公司表示，在一個月的時間里，由于網(wǎng)站抓取，公司已損失了超過10%的收入。
抓取即服務(wù)加劇了網(wǎng)絡(luò)安全形勢，使威脅分子能夠利用漏洞并逃避檢測，從而加大了與未經(jīng)授權(quán)的數(shù)據(jù)提取和網(wǎng)絡(luò)入侵相關(guān)的風(fēng)險。
對于在線企業(yè)、特別是那些嚴(yán)重依賴專有數(shù)據(jù)和數(shù)字資產(chǎn)的行業(yè)來說，急需加強(qiáng)安全防御，以抵御日益猖獗的網(wǎng)站抓取攻擊。
圖1
利用抓取即服務(wù)牟利
網(wǎng)站抓取背后的驅(qū)動力很簡單：牟利。網(wǎng)絡(luò)犯罪分子可以通過四種不同的方式利用網(wǎng)站抓取攻擊牟利：
1.模仿某個品牌的網(wǎng)站，建立假冒網(wǎng)站，收集有價值的個人信息。
2.通過抓取來提取信息，從而獲得競爭優(yōu)勢或削弱競爭對手的業(yè)務(wù)。
3.抓取定價細(xì)節(jié)以獲得套利機(jī)會，即從一個地方以較低的價格買進(jìn)產(chǎn)品，再到另一個地方以較高的價格賣出，從而利用價差獲利。
4.利用定價錯誤獲得免費贈送或大幅折扣的商品。
網(wǎng)站抓取不同于其他自動化威脅，比如憑據(jù)填充、信用卡測試和ATO，原因在于最初的挑戰(zhàn)需要確定提出抓取請求的是機(jī)器人程序還是人類。
識別抓取者是一次性的會話決策，后續(xù)需其他方法來分析行為，以防止抓取促使機(jī)器人程序成功地完成已分配的任務(wù)。
抓取即服務(wù)平臺這個新興趨勢為機(jī)器人程序管理添加了復(fù)雜性，因為威脅分子現(xiàn)在可以方便地利用這類工具發(fā)起復(fù)雜的抓取攻擊，并實現(xiàn)自動化，利用難以辨別機(jī)器人程序交互和人類交互大做文章。
網(wǎng)絡(luò)攻擊中使用的抓取類型
抓取即服務(wù)涵蓋各種各樣的網(wǎng)站抓取技術(shù)，每種技術(shù)都是為滿足用戶的特定需求而量身定制的。這種秘密服務(wù)利用各種方法，從簡單的HTML解析到更高級的技術(shù)（比如瀏覽器自動化和API濫用）。通過使用這些不同的方法，抓取即服務(wù)不僅增強(qiáng)了其適應(yīng)不同目標(biāo)網(wǎng)站的能力，還通過模仿人類交互模式來逃避檢測。
抓取即服務(wù)的多面性不僅強(qiáng)調(diào)了其復(fù)雜性，還加大了安全專業(yè)人員在有效降低與數(shù)據(jù)自動提取相關(guān)的風(fēng)險方面所面臨的難度。
•內(nèi)容抓取
從竊取知識產(chǎn)權(quán)到假冒網(wǎng)站，內(nèi)容抓取不容忽視。初始請求被發(fā)送以加載和檢索網(wǎng)頁，HTML只加載頁面一次，因為首次頁面加載無法阻止。在這個關(guān)鍵時刻，抓取者迅速獲取必要的數(shù)據(jù)，在企業(yè)有機(jī)會識破并阻止之前抓取信息。
此舉形成了非常短的時間窗口來辨別入站請求是來自機(jī)器人程序還是來自人類，強(qiáng)調(diào)在區(qū)分自動交互和真實交互方面迫切需要迅速決策。
競爭對手通過抓取圖片或整個頁面內(nèi)容來利用在內(nèi)容開發(fā)上的投入——無論是時間、精力還是財力，并將其重新用于自己的網(wǎng)站。此外，內(nèi)容抓取已經(jīng)超越了單純的競爭，它還采取了一種可能惡意的手段，企圖破壞競爭對手的搜索排名。這是通過故意模仿網(wǎng)站內(nèi)容來實現(xiàn)的，可對目標(biāo)競爭對手的在線形象和知名度構(gòu)成嚴(yán)重威脅。
由于抓取即服務(wù)，現(xiàn)在凡持有信用卡的人都可以毫不費力地從各種網(wǎng)站上提取信息。這種服務(wù)面向眾多的熱門網(wǎng)站，可以根據(jù)喜好度身打造網(wǎng)站，提供定制選項，這種服務(wù)常常與全面的套件捆綁在一起，包含的代理可以保證抓取請求保持隱身狀態(tài)。
•價格抓取
價格抓取有其積極的一面，也有其消極的一面。以旅游和酒店業(yè)為例，酒店與旅游合作伙伴合作，在更廣泛的網(wǎng)絡(luò)上公開共享和分析價格信息。另一方面，也不乏惡意掃描價格的例子，比如競爭對手使用秘密抓取機(jī)器人程序來仔細(xì)跟蹤、給出定價更低的策略。
盡管這背后有動機(jī)，但事實證明，遏制價格抓取是一個復(fù)雜的挑戰(zhàn)。攻擊者采用的策略包括將機(jī)器人程序偽裝成良性的機(jī)器人程序（比如爬取網(wǎng)站的谷歌機(jī)器人程序）或人類行為。當(dāng)模仿人類時，抓取機(jī)器人程序利用住宅代理網(wǎng)絡(luò)，確保每個請求都模仿一個新的會話。更復(fù)雜的是，這些住宅代理網(wǎng)絡(luò)可以專門為目標(biāo)網(wǎng)站量身定制，采用地理定位和設(shè)備特有的配置，與真正的購物者無縫融合。
圖2
•免費贈品
最近“免費贈品機(jī)器人程序”大行其道，給在竭力解決價格抓取問題的零售商帶來了一系列新的挑戰(zhàn)。與傳統(tǒng)的價格掃描器不同，免費贈品機(jī)器人程序利用了零售商的定價錯誤，一旦檢測到低于制造商建議零售價（MSRP）的可配置0美元或百分比折扣，這些機(jī)器人程序就會在定價錯誤被糾正之前迅速自動執(zhí)行購買過程。免費贈品機(jī)器人程序在整個互聯(lián)網(wǎng)上被大肆兜售，被描繪成是一條有利可圖的途徑，可以免費獲得價值數(shù)千美元的商品和服務(wù)。
這些免費贈品機(jī)器人程序帶來了類似價格掃描器的檢測難題，依賴住宅代理來逃避檢測系統(tǒng)。這些不良機(jī)器人程序以低廉的價格出售給了個人消費者。
此外，它們在極短的時間間隔內(nèi)進(jìn)行快速重復(fù)的掃描，趁定價錯誤還未被發(fā)現(xiàn)和糾正之前，竭力尋找錯誤。這一舉措將零售商置于了一種糟糕的困境，因為成千上萬的用戶每隔幾秒鐘就會同時瀏覽他們的整個產(chǎn)品目錄，只為了尋找偶爾出現(xiàn)的價格錯誤，以期免費獲得商品。
圖3
