羅馬不是一天建成的，數據中心也不是一天建成的。選址、挑電力和冷卻設備安裝、安裝服務器，需要幾個月的時間，而且還很貴。當一個組織決定升級時，時間和金錢成本還會增加。因此，對于那些不想為建設數據中心而苦惱的公司來說，內部部署不是一個好選擇。云也有麻煩，因為對于許多組織來說，遷移是一個棘手、乏味的過程。說到開源軟件解決方案，內部平臺和云平臺都有各自的挑戰(zhàn)。Google Cloud分享了在大數據應用方面，內部部署和云都有哪些挑戰(zhàn)。
內部部署和云都面臨著挑戰(zhàn)
供應商鎖定
公司可能會發(fā)現自己被某個云服務提供商鎖住了。供應商鎖定可能成為云計算中的一個問題，因為一旦數據庫建立起來就很難移動，尤其是在云遷移中，這涉及到將數據移動到完全不同類型的環(huán)境中，并且可能需要重新格式化數據。供應商鎖定是指切換到另一個供應商的成本非常高，以至于客戶選擇堅持原來的供應商。
配置和約束管理
盡管應用程序開發(fā)人員可以通過利用底層物理環(huán)境來利用內部部署存儲，但他們仍然面臨一些挑戰(zhàn)。由于大多數開源軟件依賴于標準化，所以對硬件配置進行更改可能會造成破壞。
約束管理則是要找出正確的方法來優(yōu)化數據中心的能源和占地面積等資源，以實現最大的利用率優(yōu)化。
托管數據中心
數據遷移到網絡上既昂貴又耗時。為了避免重新定位數據和應用程序的成本和工作量，用戶有時甚至手動遷移硬件。例如，亞馬遜的Snowmobile是一個45英尺長的加固運輸集裝箱，由一輛半拖車卡車牽引，它提供EB級的數據傳輸服務，每輛車的傳輸量高達100PB。
在內部部署平臺掙扎的地方，云技術蓬勃發(fā)展。云計算允許數據開發(fā)人員根據其處理需求選擇定制環(huán)境，從而實現按需擴展，使他們能夠更多地關注其數據應用程序，而不需要過多關注底層基礎設施。
隨著工作負載隨著時間的推移而變化，需要管理服務級別目標（slo）或服務提供商承諾的性能。數據峰值應該在不破壞數據管道的情況下獨立處理。谷歌表示，盡管云技術消除了數據中心物流規(guī)劃的必要性，但集群配置的復雜任務仍然是一個挑戰(zhàn)。對于云用戶來說，優(yōu)化處理環(huán)境以了解工作負載特性仍然是一個挑戰(zhàn)。
無服務器的未來
盡管谷歌和其他頂級云提供商多年來進行了創(chuàng)新，但挑戰(zhàn)依然存在。谷歌也知道這一點。Google Cloud的Big Query和Dataproc旨在增強OSS平臺的能力，同時也為無服務器的未來提供了一個入口。“無服務器對谷歌來說并不新鮮。我們多年來一直在開發(fā)我們的無服務器功能，甚至推出了第一個無服務器數據倉庫BigQuery。”Google云的產品經理Susheel Kaushik說。
例如，GCP的Dataproc能夠補充像Apache和Presto這樣的OSS平臺。像Facebook這樣需要處理PB級數據的公司在處理數據上依賴于Presto。在決定遷移到Google Cloud之前，Twitter也一直在用Presto。有了Dataproc平臺，用戶可以管理、分析和充分利用數據和已經在使用的OSS系統(tǒng)。
Apache也有一個叫做OpenWhisk的無服務器產品。Apache OpenWhisk是一個開源的分布式無服務器平臺，它執(zhí)行功能以響應任何規(guī)模的事件。OpenWhisk使用Docker容器管理基礎設施、服務器和擴展，因此你可以專注于構建高效應用程序。隨著數據分析的優(yōu)勢越來越明顯，我們可以預期無服務器產品的快速增長。
在無服務器的世界中，客戶可以專注于他們的工作負載，而不是基礎設施。配置是自動的。“該輪到OSS了。”谷歌認為，大數據操作系統(tǒng)的下一階段（無服務器）將幫助用戶加快上市時間，自動優(yōu)化延遲和成本，并減少應用程序開發(fā)周期的投資，從而使他們能夠更多地專注于構建而不是維護。
原文鏈接：
https://adtmag.com/blogs/watersworks/2020/10/docker-update.aspx
