2026年大數據工程師筆試試卷（附答案）

2026年大數據工程師筆試試卷（附答案）一、單項選擇題（每題2分，共30分）1.在HDFS中，默認的副本因子是（）。A.1B.2C.3D.42.關于MapReduce的Shuffle過程，下列說法正確的是（）。A.Shuffle只發生在Map階段B.Shuffle只發生在Reduce階段C.Shuffle貫穿于Map輸出到Reduce輸入的全過程D.Shuffle僅在數據溢寫磁盤時發生3.在Spark中，以下哪個算子屬于寬依賴操作（）。A.mapB.filterC.groupByKeyD.union4.Flink中，用于實現有狀態流處理的狀態后端（StateBackend）不包括以下哪種（）。A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.HBaseStateBackend5.在Kafka中，一個消費者組內的消費者數量大于分區數時，會出現（）情況。A.所有消費者都能分配到分區B.部分消費者會被閑置，無法消費消息C.消費者之間會動態輪詢分配分區D.系統會拋出異常6.關于Hive中內部表和外部表的區別，下列說法錯誤的是（）。A.刪除內部表時，表數據會被同時刪除B.刪除外部表時，表數據不會被刪除C.外部表在加載數據時，數據會被移動到數據倉庫目錄D.內部表的元數據和數據由Hive完全管理7.在數據倉庫的維度建模中，星型模型和雪花模型的主要區別在于（）。A.星型模型沒有事實表B.雪花模型的維度表可能進一步規范化拆分C.雪花模型不支持維度表的層級關系D.星型模型的查詢性能一定比雪花模型差8.下列哪種數據結構適合用于海量數據去重場景，且能夠控制內存占用（）。A.紅黑樹B.B+樹C.BloomFilterD.跳表9.HBase中，RowKey的設計直接影響查詢性能。以下關于RowKey設計原則，說法錯誤的是（）。A.RowKey的長度越短越好B.RowKey的散列性越均勻越好C.RowKey應該盡量避免單調遞增，以防止熱點問題D.RowKey必須使用字符串類型10.在SparkStreaming中，關于窗口操作，窗口長度（windowlength）和滑動間隔（slideinterval）的關系是（）。A.窗口長度必須大于滑動間隔B.窗口長度必須等于滑動間隔C.窗口長度必須小于滑動間隔D.窗口長度和滑動間隔沒有大小約束關系11.關于LSM-Tree（Log-StructuredMergeTree）的存儲結構，下列說法正確的是（）。A.LSM-Tree的寫放大問題比B+Tree更嚴重B.LSM-Tree適合讀多寫少的場景C.LSM-Tree的讀放大問題可以通過布隆過濾器來緩解D.LSM-Tree的內存表（MemTable）在達到閾值后直接寫入磁盤形成有序文件，無需合并12.在大數據集群中，采用一致性哈希算法進行數據分片的主要目的是（）。A.保證數據強一致性B.減少節點增減時數據遷移的范圍C.提高數據壓縮率D.加快數據加密速度13.在數據傾斜的優化策略中，以下哪種方法通常不能有效解決數據傾斜問題（）。A.對傾斜的Key進行加鹽（salting）處理B.將reducejoin轉換為mapjoinC.增大單個Reduce任務的內存D.對熱點Key進行單獨處理，與其他Key分開聚合14.關于Kafka的消息可靠性保障，以下說法正確的是（）。A.設置acks=0可以保證消息不丟失B.設置acks=all配合min.insync.replicas可以保證消息在生產者側的強可靠C.消費者消費消息后，位移提交失敗不會導致消息重復消費D.開啟冪等生產者可以完全替代acks=all的可靠性配置15.在數據治理體系中，元數據管理的主要作用不包括（）。A.提供數據血緣追蹤能力B.幫助用戶理解數據的含義和來源C.直接提高底層存儲引擎的讀寫性能D.支持數據資產目錄的構建二、多項選擇題（每題3分，共15分。每題有兩個或兩個以上正確答案，多選、少選、錯選均不得分）16.以下關于ApacheFlink的時間語義，說法正確的有（）。A.EventTime指的是事件實際發生的時間B.IngestionTime是指數據進入Flink系統的時間C.ProcessingTime是指數據被處理時的系統時間D.使用EventTime時必須配合Watermark機制來處理亂序數據17.在數據倉庫的分層架構中，常見的分層設計包括（）。A.ODS層（操作數據存儲層）B.DWD層（明細數據層）C.DWS層（匯總數據層）D.ADS層（應用數據層）18.下列關于Hadoop生態系統中各組件的描述，正確的有（）。A.YARN負責集群資源管理和作業調度B.ZooKeeper常用于分布式協調服務，如HBase的RegionServer選舉C.Oozie用于工作流調度，可以調度MapReduce和Spark作業D.Sqoop專門用于日志采集，不支持關系型數據庫的數據導入19.關于Spark的存儲級別（StorageLevel），以下說法正確的有（）。A.MEMORY_ONLY將RDD以反序列化的Java對象形式存儲在JVM內存中B.MEMORY_AND_DISK表示優先內存存儲，內存不足時溢寫到磁盤C.使用MEMORY_ONLY_SER可以減少內存占用，但會增加CPU序列化開銷D.設置副本數大于1的存儲級別可以提高數據容錯性20.關于數據湖與數據倉庫的對比，以下說法正確的有（）。A.數據倉庫通常存儲結構化數據，數據湖可以存儲結構化、半結構化和非結構化數據B.數據倉庫強調Schema-on-Write，數據湖支持Schema-on-ReadC.數據湖天然支持ACID事務，數據倉庫不支持D.數據湖的建設成本通常低于數據倉庫的存儲成本三、填空題（每空2分，共20分）21.在Hadoop中，HDFS的NameNode主要負責管理文件系統的______，而DataNode負責存儲實際的數據塊。22.SparkSQL中，DataFrame的底層數據結構是______，它能夠利用Catalyst優化器進行查詢優化。23.Flink的Checkpoint機制中，用于記錄每個算子狀態快照的機制是基于______算法的變種實現的。24.在Kafka中，一個Topic可以被劃分為多個______，每個分區內部的消息是有序的。25.Hive中，分桶表的桶數通常由______決定，分桶的列值經過哈希計算后對桶數取模。26.在HBase的數據模型中，一個單元格（Cell）由行鍵、列族、列限定符、______和值五部分組成。27.在數據采集工具中，Flume的三大核心組件是Source、Channel和______。28.在ClickHouse中，MergeTree引擎家族的核心思想是______合并，以提升查詢性能。29.對于大規模數據的近似去重計數，HyperLogLog算法的空間復雜度為______，即僅需極小的內存即可統計海量數據的基數。30.在大數據任務調度系統中，DolphinScheduler通過DAG（有向無環圖）來定義任務依賴關系，其中DAG中的節點表示任務，邊表示______。四、簡答題（每題8分，共40分）31.簡述HDFS的寫入流程，并說明在寫入過程中NameNode、DataNode和客戶端（Client）各自承擔的角色。32.簡述MapReduce中Combiner的作用及其使用限制。請結合一個具體場景說明。33.請說明ApacheKafka中LEO（LogEndOffset）和HW（HighWatermark）的含義，并闡述它們在副本同步和消息消費可見性中的作用。34.簡述Flink中Watermark的工作原理，說明它如何解決亂序事件的處理問題。請闡述Watermark與窗口（Window）之間的觸發關系。35.請說明數據傾斜在Spark作業中的典型表現，并列舉至少三種常見的處理策略。五、計算與分析題（共25分）36.（10分）假設某Kafka集群中有一個Topic，包含8個分區（Partition0~7），現有一個消費者組包含3個消費者實例（ConsumerA、B、C）。請計算：（1）當消費者組采用Range分配策略時，各消費者分別被分配到哪些分區？（3分）（2）當消費者組采用RoundRobin分配策略時，各消費者分別被分配到哪些分區？（3分）（3）如果該Topic的分區數增加到9個，而消費者組內新增1個消費者實例D，采用Range策略分配時，消費者C和D各分配到哪些分區？（4分）37.（7分）某大數據集群中有一個包含1億條用戶行為日志的數據集，每條日志包含字段：`user_id`、`action`、`timestamp`、`device_type`。現需要統計每個用戶每天的獨立操作行為數（即`user_id`+日期+`action`去重后的數量）。（1）請設計一個基于Spark的解決方案，寫出核心代碼（Scala或Python均可）。（4分）（2）如果該數據集中存在極少數`user_id`（如熱門用戶）導致數據傾斜，請結合你的方案說明如何優化。（3分）38.（8分）某業務系統需要實時統計過去1小時內每個商品的UV（獨立訪客數），數據以JSON格式通過Kafka實時流入，使用Flink進行實時計算。（1）請設計Flink作業的核心計算邏輯（可用偽代碼描述），并指出應采用的時間語義及窗口類型。（4分）（2）如果要保證計算結果在作業重啟后能夠恢復（Exactly-Once語義），請說明需要啟用Flink的哪些機制。（4分）六、綜合應用題（共20分）39.（20分）某電商平臺擁有海量用戶行為數據和訂單數據，業務部門提出以下分析需求：需求一：分析“雙11”當天各品類商品的銷售額TOP10排行榜；需求二：實時監控每秒鐘的訂單交易金額，當每秒交易金額超過閾值（如100萬元）時觸發告警；需求三：為用戶推薦可能感興趣的商品（基于用戶歷史行為數據的協同過濾）。該平臺的數據技術棧包括：Kafka、Flink、Spark、Hive、HBase、Redis、MySQL、HDFS。請根據以上場景，回答以下問題：（1）請為需求一設計一條完整的數據處理鏈路，包括數據采集、存儲、計算、結果輸出等環節，說明每個環節選用的組件及其職責。（6分）（2）針對需求二，請設計一個基于Flink的實時告警方案，包括數據接入方式、窗口設計（滑動窗口還是滾動窗口？窗口大小和滑動間隔如何設置？）、閾值判斷邏輯以及告警結果的輸出方式。（7分）（3）針對需求三，請說明協同過濾算法的基本思路，并闡述在大數據場景下，如何利用Spark進行離線推薦計算，包括數據預處理、相似度計算和Top-N推薦生成的步驟。若需實現實時推薦，可如何改進？（7分）參考答案及評分標準一、單項選擇題（每題2分，共30分）題號答案題號答案1C9D2C10A3C11C4D12B5B13C6C14B7B15C8C二、多項選擇題（每題3分，共15分）題號答案16ABD17ABCD18ABC19ABCD20ABD三、填空題（每空2分，共20分）21.命名空間（元數據/目錄信息）22.RDD（彈性分布式數據集）23.Chandy-Lamport（分布式快照算法）24.分區（Partition）25.分桶列（或用戶指定的列）26.時間戳（Timestamp）27.Sink（接收器）28.分區（Partition）級別29.O(1)30.依賴關系（執行順序/依賴）四、簡答題（每題8分，共40分）31.參考答案要點：HDFS寫入流程：（1）客戶端向NameNode發起寫請求，NameNode檢查文件是否存在、權限是否允許；（1分）（2）NameNode返回可用的DataNode列表（按網絡拓撲排序）；（1分）（3）客戶端將數據按塊（默認128MB）切分，并將第一個塊寫入第一個DataNode；（1分）（4）第一個DataNode收到數據后，將數據復制到第二個DataNode，第二個復制到第三個，形成流水線復制；（2分）（5）每個DataNode寫入成功后向客戶端返回確認信息，客戶端向NameNode匯報塊完成狀態；（1分）（6）所有塊寫入完成后，關閉輸出流，NameNode更新元數據。（1分）角色分工：NameNode：負責元數據管理、權限校驗、數據塊分配，不參與實際數據傳輸；DataNode：負責實際數據塊的存儲和副本復制；Client：負責數據切分、與DataNode建立連接并傳輸數據。（1分）32.參考答案要點：Combiner的作用：Combiner是MapReduce中的局部聚合組件，在Map端輸出數據后、數據發送到Reduce端之前，對具有相同Key的中間結果進行合并，從而減少網絡傳輸的數據量和Reduce端的計算壓力。（2分）使用限制：（1）Combiner的輸入輸出類型必須與Mapper的輸出類型一致；（1分）（2）Combiner的調用次數和時機不確定（可能調用0次、1次或多次），因此Combiner的運算必須滿足交換律和結合律，即重復調用不影響最終結果；（2分）（3）Combiner不能用于求平均值等非冪等運算場景，除非進行特殊處理。（1分）具體場景：以WordCount為例，假設某個Map任務處理了一個包含大量重復單詞的文本片段。如果不使用Combiner，Map端會將每個單詞（如"hello"出現1000次）逐一發送給Reduce端，傳輸1000條記錄；如果使用Combiner，Map端先進行局部求和，只輸出1條記錄`("hello",1000)`，顯著減少了網絡IO。（2分）33.參考答案要點：LEO（LogEndOffset）：表示每個分區副本的日志中下一條待寫入消息的偏移量，即當前日志末尾的偏移量。生產者新寫入的消息會追加到LEO位置。（2分）HW（HighWatermark）：表示分區中已提交（committed）消息的最高偏移量，即消費者能夠讀取到的最大偏移量。HW取值為所有ISR（In-SyncReplicas）副本中LEO的最小值。（2分）在副本同步和消費可見性中的作用：（1）Leader副本負責維護HW，并定期將HW同步給Follower副本。Follower副本根據HW來截斷（truncate）自身日志中超出HW的部分，確保所有副本數據一致；（2分）（2）消費者只能消費HW之前的消息，HW之后的消息雖然已被Leader接收但尚未被足夠多的副本同步，屬于"未提交"狀態。如果Leader發生故障，未提交的消息可能丟失，因此對消費者不可見。這種機制保證了消息在副本間的一致性，防止消費者讀到可能丟失的數據。（2分）34.參考答案要點：Watermark的工作原理：Watermark是一種時間戳機制，表示"事件時間小于等于該時間戳的數據都已到達"。在數據流中，Watermark隨事件一起流動，其值通常為已觀察到的最大事件時間減去允許的最大亂序延遲（maxOutOfOrderness）。（2分）解決亂序問題的過程：（1）Flink通過Watermark機制延遲窗口的觸發時間，等待遲到的數據到達；（2分）（2）當Watermark大于窗口的結束時間時，該窗口被觸發計算，此時窗口內的數據被認為已經完整；（2分）Watermark與窗口的觸發關系：以滾動窗口為例，假設窗口大小為10秒，Watermark延遲為5秒。當事件時間戳為12秒的事件到達時，Watermark推進到7秒，此時事件時間窗口[0,10)尚未觸發；當事件時間戳為16秒的事件到達時，Watermark推進到11秒，超過窗口[0,10)的結束時間10秒，該窗口被觸發。（2分）35.參考答案要點：數據傾斜的典型表現：（1）大部分Task快速完成，少數Task長時間運行，甚至失?。唬?分）（2）某個ReduceTask處理的數據量遠大于其他Task，OOM（內存溢出）風險高；（1分）常見處理策略：（1）對傾斜Key加鹽（Salting）：為熱點Key添加隨機前綴，將其分散到多個Task中處理，然后再去掉前綴進行二次聚合；（2分）（2）使用MapJoin代替ReduceJoin：對于大小表關聯，將小表廣播到每個MapTask中，避免Reduce端的數據傾斜；（1分）（3）過濾異常Key：對于無意義的熱點數據（如空值、默認值），在預處理階段進行過濾或單獨處理；（1分）（4）單獨處理傾斜Key：將熱點Key與非熱點Key分開，非熱點Key走正常聚合，熱點Key單獨加鹽聚合后再合并結果。（1分）（以上策略答出3種即可得滿分）五、計算與分析題（共25分）36.參考答案：（1）Range分配策略（8個分區，3個消費者）：Range策略按分區范圍進行分配，每個消費者分配的分區數量為`分區數/消費者數`取整。8÷3=2余2，因此前2個消費者各多分配1個分區。ConsumerA：Partition0,1,2ConsumerB：Partition3,4,5ConsumerC：Partition6,7（3分）（2）RoundRobin分配策略（8個分區，3個消費者）：RoundRobin策略將分區輪流分配給消費者，所有分區均勻分配。8÷3=2余2，前2個消費者多分配1個。ConsumerA：Partition0,3,6ConsumerB：Partition1,4,7ConsumerC：Partition2,5（3分）（3）分區數增至9個，消費者增至4個，Range分配：9÷4=2余1，前1個消費者多分配1個分區。ConsumerA：Partition0,1,2ConsumerB：Partition3,4ConsumerC：Partition5,6ConsumerD：Partition7,8（4分）37.參考答案：（1）Spark解決方案核心代碼：```scala//假設數據已加載為DataFrame:df，字段包含user_id,action,timestamp,device_typeimportorg.apache.spark.sql.functions._//提取日期字段（假設timestamp為Long類型Unix時間戳）valdfWithDate=df.withColumn("date",from_unixtime(col("timestamp")/1000,"yyyy-MM-dd"))//統計每個用戶每天的獨立操作行為數valresult=dfWithDate.select("user_id","date","action").distinct()//對(user_id,date,action)去重.groupBy("user_id","date").agg(count("action").alias("action_cnt"))result.show()```（4分）（2）數據傾斜優化：針對部分熱門用戶數據量過大的問題，可以采用以下策略：①對熱門`user_id`進行加鹽處理：將`user_id`添加隨機前綴（如0~9），先按加鹽后的Key進行局部聚合，再去除前綴進行二次聚合；（1分）```scalavalsaltedResult=dfWithDate.select("user_id","date","action").distinct().withColumn("salt",(rand()*10).cast("int"))//隨機加鹽.withColumn("salted_user",concat(col("salt"),lit("_"),col("user_id"))).groupBy("salted_user","date").agg(count("action").alias("partial_cnt")).withColumn("user_id",split(col("salted_user"),"_")(1)).groupBy("user_id","date").agg(sum("partial_cnt").alias("action_cnt"))```②對于可預知的熱點用戶，可將其單獨提取出來，單獨處理后再合并結果；（1分）③調整Spark的`spark.sql.shuffle.partitions`參數，適當增大分區數，緩解單個Task的壓力。（1分）38.參考答案：（1）Flink核心計算邏輯：```scala//使用EventTime語義和Watermarkvalenv=StreamExecutionEnvironment.getExecutionEnvironmentenv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)valkafkaStream=env.addSource(newFlinkKafkaConsumer[String]("topic",newSimpleStringSchema(),props))valuvStream=kafkaStream.map(json=>parse(json))//解析JSON，提取商品ID、用戶ID、時間戳.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(10)).withTimestampAssigner((event,_)=>event.timestamp)).keyBy(_.productId).window(SlidingEventTimeWindows.of(Time.hours(1),Time.minutes(5))).aggregate(newUvAggregate())//使用SetState或HyperLogLog去重uvStream.print()```時間語義：EventTime，使用Watermark處理亂序；（2分）窗口類型：滑動窗口（SlidingWindow），窗口大小1小時，滑動間隔5分鐘；（1分）UV去重：可使用Flink的`KeyedState`（ValueState+Set）或HyperLogLog進行近似去重。（1分）（2）Exactly-Once保障機制：①啟用Checkpoint：設置`env.enableCheckpointing(interval)`，定期對狀態進行快照；（1分）②設置語義為Exactly-Once：`env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)`；（1分）③啟用狀態持久化：配置RocksDBStateBackend或FsStateBackend，將狀態存儲到可靠文件系統；（1分）④配置Kafka消費者位移提交：設置`setCommitOffsetsOnCheckpoints(true)`，使Kafka位移隨Checkpoint一起提交，保證故障恢復后從正確的位移重新消費。（1分）六、綜合應用題（共20分）39.參考答案：（1）需求一的數據處理鏈路設計：鏈路：Kafka（數據采集）→Flume（日志收集）→HDFS（原始數據存儲）→Spark/Hive（離線計算）→MySQL/Redis（結果存儲）→可視化報表環節組件職責數據采集Flume/Kafka實時收集用戶行為日志和訂單數據，Kafka作為消息緩沖區數據存儲HDFS存儲原始日志數據，提供高吞吐、高可靠的分布式存儲數據清洗Spark/Hive對原始數據進行ETL，清洗無效數據，按分區（日期/品類）存儲數據計算SparkSQL/Hive使用SparkSQL或Hive進行離線聚合計算，統計各品類銷售額結果存儲MySQL/Redis將TOP10排行榜結果寫入MySQL供報表系統查詢，Redis用于緩存加速數據展示可視化工具（如ECharts、Superset）將排行榜結果以圖表形式呈現給業務部門（6分）（2）需求二的實時告警方案：①數據接入方式：業務系統的訂單數據通過Kafka實時發送，Flink作為消費者從KafkaTopic中讀取訂單流數據。訂單消息中包含訂單金額和交易時間戳字段。（1分）②窗口設計：采用滾動窗口（TumblingWindow），窗口大小為1秒；（1分）因為需求是統計"每秒"的交易金額，滾動窗口能夠精確對齊每一秒的邊界，無需重疊；（1分）③閾值判斷邏輯：```scalavalorderStream=kafkaStream.map(json=>parseOrder(json))//解析訂單.assignTimestampsAndWatermarks(...)valsecondAmount=orderStream.keyBy(_=>"global")//全局統計.window(TumblingEventTimeWindows.of(Time.seconds(1))).aggregate(newSumAmountAggregate())valalertStream=secondA