1200服務器,1000億hits,揭秘新浪數據庫

利用碎片化時間查看資訊已經成為互聯網原住民的生活方式，據大數據服務QuestMobile報告稱：2016年底，綜合資訊行業規模已達5.3億，同比增長率近70%，超過一半的移動網民都在使用新聞App。

　　4月18日，QuestMobile發布了2017春季報告，新浪新聞App作為新浪網最重要的分支之一，月用戶規模(月活)達6056萬，同比增長138.3%，中高消費水平用戶占比75.4%。面對如此體量，新浪網的后端數據庫如何支持?在數據庫選型上有哪些標準?數據安全又如何把控?帶著這些疑問，我們訪問了新浪數據庫平臺高級DBA趙景波。

　　趙景波，先后就職于杭州沃趣科技、新浪網，從事Oracle、MySQL、Redis相關方面的運維工作。目前為新浪數據庫平臺高級DBA，主要負責新浪數據庫平臺Redis自動化運維、kafka運維等相關方面工作。

　　揭秘新浪網的數據庫構成

　　據趙景波介紹，目前新浪網的數據庫平臺共有9個主要IDC，1200+服務器，7k+實例，1000+億 hits/天，總存儲容量1PB+。為了更好的滿足公司業務需求，新浪網采取了不同的數據庫平臺和數據系統服務平臺來提供相關的數據服務：

　　·基于MySQL的關系型數據庫存儲服務

　　·基于Redis的KV存儲服務

　　·基于Mongodb的文檔存儲服務

　　·基于Hbase半結構化大數據存儲服務

　　·基于Memcached的緩存服務

　　·基于mcq和kafaka的消息隊列服務

　　·zookeeper服務，業務如果有數據發布/訂閱、命名服務，選舉等需求也可以申請使用。

　　新浪網作為國內主流的新聞門戶網站，業務場景繁多，不同的業務場景是如何進行數據庫選型的呢?趙景波表示因為MySQL是一個很成熟的產品，其插件式的引擎特性也能滿足大多數場景要求，再加上它的社區相當活躍，人才儲備也最豐富，所以如果業務場景適合會優先選擇MySQL。但是如果業務場景有某些特殊需求，我們也會考慮其他數據庫，例如業務場景只是簡單的kv存儲模型、或者業務對于響應時間要求極高，再或者業務需要schemaless類型的數據庫以便于業務快速開發迭代等等。

　　目前新浪網平臺不僅提供MySQL服務，還同時提供MongoDB、Redis、Memcached、Hbase等服務。趙景波為我們介紹了新浪網內部服務發布系統的變遷，早年新浪網發布的新聞都是用MySQL存儲，隨著業務發展，個性化的需求與日俱增，業務表結構變更(添加字段)的需求也越來越多，此時MySQL固定schema的存儲模型無法滿足業務快速開發迭代的需求，所以發布系統的新聞數據就從MySQL全部遷移到了MongoDB。另外，新聞推薦push等業務對部分接口的響應時間要求很高，所以就采用了Redis或者Memcached這種內存KV緩存來解決業務的需求。

　　新浪網如何把控數據安全

　　對于互聯網公司來說，數據安全可以說是生命線，據相關媒體報告稱僅在2016年前10個月，全球已約有3000起公開的數據泄漏事件，22億條記錄被披露，已經超過2015年全年。面對如此嚴峻的數據安全的局面，趙景波表示新浪網在數據安全性方面有很多硬性規定，并做了主機維度、業務維度和服務維度的層次劃分。

　　主機維度：制定了相關標準，給出了主機安全防護基線要求，主要有身份驗證、訪問控制、入侵防范等，對安裝的軟件、登陸使用的方式等等也都有嚴格的標準。

　　業務維度：規定了新浪業務及應用的安全防護要求，主要約束了應用的上傳下載、網站外鏈、惡意代碼、信息加密等。

　　數據服務維度：這一層面的安全性主要體現在數據庫備份、存儲可靠性、服務器資源使用(通過Cgroup隔離)、數據庫訪問帳號、SQL注入防范、數據加密、數據一致性等。

　　·建立了動態密碼更新機制，對于非常核心的重點業務做到了數據庫帳號密碼動態更新，提高安全性;

　　·數據庫的賬號只保留了增、刪、改、查的權限，其他的如truncate、drop等權限全部回收，大大減少了業務方通過此類危險命令誤刪除數據的機會;

　　·對內部管理數據庫的賬號做分級，只有少數資深高級DBA才有較大的權限來操作數據庫，常規的DBA也只保有在固定服務器上的有約束性的權限

　　·數據存儲安全主要做了兩個事情，一個是針對涉密的數據，我們對備份的數據做了加密，除了對應的專職管理員有權限查看，其他人沒有權限查看，另外一個就是我們備份的數據會存儲到HDFS集群，保障數據的可靠性。

　　在業務發展早期，為了更快的滿足業務資源申請需求而忽視平臺自身的規范建設是很多企業都面臨或者正在經歷的事情。在中國數據庫技術大會(DTCC 2017)上，趙景波會以Redis服務為例，為我們講述隨著業務規模壯大，新浪網核心業務運維遇到了哪些痛點?當運維過程暴露出越來越多的問題時，新浪網又是如何去規范、完善Redis運維平臺的。