大家好，今天小編關(guān)注到一個(gè)比較有意思的話題,，就是關(guān)于在線數(shù)據(jù)處理與交易處理的問題,，于是小編就整理了1個(gè)相關(guān)介紹在線數(shù)據(jù)處理與交易處理的解答，讓我們一起看看吧,。
大數(shù)據(jù)是對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ),、計(jì)算,、統(tǒng)計(jì)、分析處理的一系列處理手段,，處理的數(shù)據(jù)量通常是TB級(jí)，甚至是PB或EB級(jí)的數(shù)據(jù)，這是傳統(tǒng)數(shù)據(jù)處理手段所無法完成的,，其涉及的技術(shù)有分布式計(jì)算,、高并發(fā)處理、高可用處理,、集群,、實(shí)時(shí)性計(jì)算等，匯集了當(dāng)前IT領(lǐng)域熱門流行的IT技術(shù),。
大數(shù)據(jù) big data 國標(biāo)定義：
支持一個(gè)或多個(gè)應(yīng)用領(lǐng)域,，按概念結(jié)構(gòu)組織的數(shù)據(jù)集合，其概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對(duì)
應(yīng)實(shí)體間的聯(lián)系,。具有數(shù)量巨大,、種類多樣、流動(dòng)速度快,、特征多變等特征,，并且難以用傳統(tǒng)數(shù)據(jù)體
系結(jié)構(gòu)和數(shù)據(jù)處理技術(shù)進(jìn)行有效組織、存儲(chǔ),、計(jì)算,、分析和管理的數(shù)據(jù)集。
[來源：GB/T 35274-2017,，定義3.1]
1,、基礎(chǔ)概念
大數(shù)據(jù)是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,，是需要新處理模式才能具有更強(qiáng)的決策力,、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn),。大數(shù)據(jù)技術(shù)則主要用來解決海量數(shù)據(jù)的存儲(chǔ)和分析,。
2、特點(diǎn)分析
大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）,、Velocity（高速）,、Variety（多樣）、Value（低價(jià)值密度）,、Veracity（真實(shí)性）,。
3、發(fā)展過程
我有幸做了有五六七八年的大數(shù)據(jù)吧,，談?wù)勛约旱目捶?。簡單來說，就是現(xiàn)在各個(gè)APP,，網(wǎng)站產(chǎn)生的數(shù)據(jù)越來越多,，越來越大,，傳統(tǒng)的數(shù)據(jù)庫比如MySQL Oracle之類的，已經(jīng)處理不過來了,。所以就產(chǎn)生了大數(shù)據(jù)相關(guān)的技術(shù)來處理這些龐大的數(shù)據(jù),。
第一，首先要把這些大數(shù)據(jù)都可靠的存儲(chǔ)起來,，經(jīng)過多年的發(fā)展,，hdfs已經(jīng)成了一個(gè)數(shù)據(jù)存儲(chǔ)的標(biāo)準(zhǔn)。
第二,，既然有了這么多的數(shù)據(jù),，我們可以開始基于這些數(shù)據(jù)做計(jì)算了，于是從最早的MapReduce到后來的hive,，spark,，都是做批處理的。
第三,， 由于像hive這些基于MapReduce的引擎處理速度過慢,，于是有了基于內(nèi)存的olap查詢引擎，比如impala,，presto,。
第四，由于批處理一般都是天級(jí)別或者小時(shí)級(jí)別的,，為了更快的處理數(shù)據(jù),，于是有了spark streaming或者flink這樣的流處理引擎。
第五,，由于沒有一個(gè)軟件能覆蓋住所有場景,。所以針對(duì)不同的領(lǐng)域，有了一些特有的軟件,，來解決特定場景下的問題,，比如基于時(shí)間序列的聚合分析查詢數(shù)據(jù)庫，inflexdb opentsdb等,。采用預(yù)聚合數(shù)據(jù)以提高查詢的druid或者kylin等,，
第六，還有其他用于數(shù)據(jù)削峰和消費(fèi)訂閱的消息隊(duì)列,，比如kafka和其他各種mq
第七,，還有一些其他的組件，比如用于資源管理的yarn,，協(xié)調(diào)一致性的zookeeper等,。
第八，由于hdfs 處理小文件問題不太好,，還有為了解決大數(shù)據(jù)update和insert等問題,，引入了數(shù)據(jù)湖的概念,，比如hudi，iceberg等等,。
第九,，業(yè)務(wù)方面，我們基于大數(shù)據(jù)做一些計(jì)算,，給公司的運(yùn)營提供數(shù)據(jù)支撐。做一些推薦,，給用戶做個(gè)性化推薦,。機(jī)器學(xué)習(xí)，報(bào)警監(jiān)控等等,。
到此,，以上就是小編對(duì)于在線數(shù)據(jù)處理與交易處理的問題就介紹到這了，希望介紹關(guān)于在線數(shù)據(jù)處理與交易處理的1點(diǎn)解答對(duì)大家有用,。
