收集數(shù)據(jù)工具(數(shù)據(jù)收集工具)
1、離線搜集工具:ETL在數(shù)據(jù)倉庫的語境下,ETL基本上便是數(shù)據(jù)搜集的代表,包括數(shù)據(jù)的提取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)。在轉(zhuǎn)換的過程中,需求針對具體的事務(wù)場景對數(shù)據(jù)進行治理,例如進行不合法數(shù)據(jù)監(jiān)測與過濾、格式轉(zhuǎn)換與數(shù)據(jù)規(guī)范化、數(shù)據(jù)替換、確保數(shù)據(jù)完整性等。2、實時搜集工具:Flume/Kafka實時搜集首要用在考慮流處理的事務(wù)場景,比方,用于記錄數(shù)據(jù)源的履行的各種...