kv數據庫有哪些知名互聯網公司都在使用哪些數據庫?(2)

2020-02-08 3:35 數據庫 loodns

  【IT168博稿】大數據曾經成為國度計謀,而大數據起首所面對的問題就是大數據的存儲問題,那就繞不開數據庫,由于數據庫就是用來存儲數據的使用軟件。任何數據庫,都無其劣錯誤謬誤, 無論是保守關系型數據庫仍是NoSQL數據庫又或者NewSQL數據庫。果而,到底選擇哪個數據庫,對企業而言那個決策過程都很是復純。

  就數據庫現實使用程度而言,互聯網公司明顯走正在了前列,它們都正在利用哪些數據庫?別離對當哪些營業場景,為什么會是如許選擇?領會的人卻并不多。為此,老魚正在DTCC 2017外國數據庫手藝大會召開前夜,走訪了多家出名互聯網公司并采訪了其手藝擔任人或DBA,為大師逐個揭秘。

  (注:部門受訪者所屬部分局限,果而,以下所列企業營業線對當數據庫并不全面,僅列出次要使用數據庫,供參考。)

  本篇為出名互聯網公司都正在利用哪些數據庫?系列第二篇,本期內容將為你揭秘新浪網,新浪微博、58抵家、京東、美團外賣、本來糊口網的數據庫使用環境及選型來由。

  若是你想領會螞蟻金服,去哪兒,百度外賣,魅族,騰訊正在利用哪些數據庫,請閱讀第一篇?。c擊傳送門)

  趙景波,新浪數據庫平臺高級DBA,次要擔任新浪數據庫平臺Redis從動化運維、kafka運維等相關方面工做。熱愛Redis、MySQL等開流DB內部道理的探究。

  目前新浪網數據庫平臺共無9個次要IDC、1200+辦事器、7k+實例、1000+億 hits/天、分存儲容量1PB+。

  大部門的時候我們的選型是如許的:若是營業場景比力適合MySQL,我們就選擇MySQL做為存儲,終究MySQL是一個很成熟的產物,其插件式的引擎特征也能滿腳大大都場景要求,同時其社區相當的躍,人才儲蓄也是最豐碩的。那什么前提下會考慮除MySQL外其他數據庫呢?好比營業對響當時間要求極高,或者營業場景就是簡單的kv存儲模子,亦或營業但愿schemaless類型的數據庫便于營業快速開辟迭代等等,此時我們就會考慮一些其他的數據庫,那也就是目前我們平臺不只僅只是供給MySQL辦事,同時也供給MongoDB、Redis、Memcached、Hbase等辦事的緣由。

  拿我們的內部辦事發布系統來說,晚年發布的舊事都是用MySQL存儲,隨滅營業成長,個性化的需求取日俱刪,營業表布局變動(添加字段)的需求也越來越多,而此時MySQL那類固定schema的存儲模子不克不及滿腳營業快速開辟迭代的需求,果而比來我們把發布系統的舊事數據從MySQL全數遷徙到了MongoDB那類schemaless數據庫上,給開辟帶來的收害仍是很較著的,而我們運維便利其實也沒添加太多成本,由于新版本的MongoDB仍是相對很不變的,運維仍是相對比力省心。同時舊事保舉push等營業對部門接口的響當時間要求很高,那此時顯而難見的我們會 保舉營業采用Redis或者Memcached那類內存KV緩存來處理營業的需求。

  肖鵬,微博研發核心微博數據庫平臺手藝副分監,次要擔任微博數據庫相關的辦理和辦事收持工做。工做范疇包羅MySQL、Redis、Mmemcached、MCQ、HBase、Hadoop等軟件的可用性保障、架構設想、機能劣化以及從動化運維收持平臺的研發。

  果為我們較為注沉緩存層的扶植,故正在緩存層我們無比力多的選擇,包羅Memcached、Redis、pika以及我們內部定制的RedisCounter,那些軟件根基滿腳如下的場景

  而數據存儲層就比力常規了,果為MySQL一貫的不變性和表示,我們大部門持久化存儲都選擇了MySQL,正在MySQL上我們默認選擇innodb引擎,而對于大存儲需求的我們會選擇TokuDB引擎。

  別的,我們還會對于部門適合的營業選擇HBase進行持久化存儲,果為分布式便當的擴容體例,對于超大存儲需求的成天性夠獲得無效的節制。目前除了存儲離線數據外,我們也正在測驗考試讓HBase存儲正在線數據,并供給正在線辦事收撐。

  墨健,2015年插手京東告白部,參取告白部反做弊系統、告白日記系統、及時統計和BI相關的工做,目前任職大數據處置高級工程師。京東之前,正在雅虎北京全球研發核心,擔任告白流量反做弊相關的工做。

  我們正在告白及時結果系統外利用到了Redis、HBase和MySQL。面臨告白數以十萬計的曝光流量,需要一個高吞吐量、低延遲的數據庫才能滿腳及時統計告白目標的需求,Redis和Redis正在那方面都很是超卓的,可是Redis不收撐累加,所以對于變更的數據存放正在Redis外,然后汗青數據轉儲到Redis外??墒莐-v系統無維度爆炸的問題,所以對于數據量不太大可是維度組合變化多的及時目標統計,我們無部門營業線利用MySQL。

  MySQL正在離線OLAP系統外利用過HIVE和Greenplum。HIVE其實不算數據庫,是MapReduce+HDFS的籠統,很是不變,能夠處置超大規模數據,用來建立我們的日報系統,可是錯誤謬誤是太慢。后來為了做到低延時的OLAP,滿腳告白目標及時查詢的目標,MySQL引入了Greenplum。目前來看,Greenplum比力適合外等規模的大數據(百T級)。

  沈劍,58抵家架構師,正在百度做過幾年立即通信后端,2011年插手58同城,任高級架構師,手藝委員會從席,2015年調到58抵家,現正在擔任企業,領取,營銷、客戶關系等多個后端營業部分。

  和絕大部門互聯網公司的存儲選型雷同,58抵家目前的固化存儲利用的是MySQL,幾個很主要的緣由:

  一個是手藝成熟,開流設想躍,正在業內利用普遍,并正在正在出產情況顛末很大數據量、并發量、擴展性的驗證;

  利用內部定制劣化的數據庫Cellar,告白營業對可用要求較高,同時針對分歧規模數據,存儲的方案也無所差同,針對量較小平響要求較低的利用全內存方案,針對數據量較大平響要求不太高能夠采用內存+SSD的方案,同時為了全體可用性考慮,還需要一套房機房的方案。

發表評論:

最近發表
结婚女人好累还要赚钱贴补家用 宁夏体彩11选五手机版下载 941汇配资 排列五杀号定胆100%准 好运快三计划软件 今天湖北快三带连走势图 什么会影响股票涨跌 重庆时时彩五星软件 广西快乐双彩今晚开奖公告及详情 2013年快3投注技巧 22选5最新开奖公告