博客
关于我
Spark程序运行常见错误解决方法以及优化
阅读量:635 次
发布时间:2019-03-15

本文共 1862 字,大约阅读时间需要 6 分钟。

Spark常见错误及解决方案

一 FetchFailedException

问题描述

这类错误通常发生在执行大量shuffle操作时,Tasks连续失败并被重试,最终导致长时间耗时直至卡顿结束。这种情况通常发生在shuffle后阶段的数据传输或元数据获取出现问题。

错误提示

  • missing output location for shuffle 0
  • shuffle fetch failed
  • 解决方案

    直接针对内存资源进行优化:

    • 提高每个Executor的内存:spark.executor.memory 15G
    • 调整Executor的CPU核心数:spark.executor.cores 3
    • 配置最大可用核数:spark.cores.max 21

    工作机制:

    • execuoteNum = spark.cores.max / spark.executor.cores

    每个Executor配置:

    • 核心数:3核
    • 内存:15G RAM

    总资源消耗验证:

    • 7个Executor × 15G = 105G RAM
    • 资源消耗与配置保持一致但性能得到提升

    二 Executor及Task Lost

    问题描述

    由于网络或GC问题,Worker或Executor未接收到Task或Executor的心跳反馈。而Task丢失同样可能是由于底层协议超时或网络连接问题。

    错误提示

  • ExecutorLostFailure
  • TaskLostError
  • TimeoutException
  • Network连接超时
  • 解决方案

    调整个体网络执行超时时间:

    • 提高spark.network.timeout至300秒(5分钟)或更高
    • 配置其他影响网络的延时参数:
      • spark.core.connection.ack.wait.timeout
      • spark.akka.timeout
      • spark.storage.blockManagerSlaveTimeoutMs
      • spark.shuffle.io.connectionTimeout
      • spark.rpc.askTimeout or spark.rpc.lookupTimeout

    三 倾斜问题

    倾斜问题主要分为数据倾斜和Task倾斜两种情况

    数据倾斜

    数据倾斜的常见原因:

    • 大量Null值或空字符串(例如,直接在计算前过滤这些数据)
    • 例如:
    sqlContext.sql("...where col is not null and col != ''")

    Task倾斜

    Task倾斜的可能原因:

    • 数据倾斜已经得到解决,但仍存在其他瓶颈问题:
      • 请检查目标节点的性能,特别是CPU、I/O、内存使用情况
      • 可以配置Spark推测机制:
        spark.speculation truespark.speculation.interval 100 // 检测周期,单位毫秒spark.speculation.quantile 0.75 // 在完成指定百分比时启动推测spark.speculation.multiplier 1.5 // 待定时启动推测的倍数

    四 OOM(内存溢出)

    问题描述

    内存不足导致的溢出错误,常见在处理大量数据时GM违反内存限制。

    解决方案

    driver OOM:

    • 通过减少将data to driver的操作:
      • 避免使用collect操作,改用Pairwiseoperations
      • 例如:
    rdd.mapPartitions { ... }

    executor OOM:

    优化建议包括:

  • 增加Executor内存:spark.executor.memory 8G
  • 预留内存:
    • 修改以下参数降低JVM内存占用
      spark.storage.memoryFraction 0.5spark.shuffle.memoryFraction 0.3
  • 限制rdd缓存(可选):
    spark.rdd.compress true
  • 并行度优化:
    • 调整默认parallelism:
      spark.default.parallelism 4
    • SQL倾斜处理:
      spark.sql.shuffle.partitions 300 或 500
  • Map阶段并行优化:
    • 修改spark.executor.cores 15 并通过代码实现repartition
    rdd.repartition(15).map(...).cache()
  • 通过以上优化可以有效降低Executor内存负载和GC压力,提高Spark应用的稳定性和性能。

    转载地址:http://mqslz.baihongyu.com/

    你可能感兴趣的文章
    工程经济—建设工程定额
    查看>>
    工程经济—工程量清单编制
    查看>>
    1Z204050、施工质量不合格的处理
    查看>>
    1Z308020、民事诉讼制度
    查看>>
    JSP中的九大内置对象
    查看>>
    linux下压缩和解压命令
    查看>>
    【字节网盘】九款超好看不同页面404源码
    查看>>
    WordPress主题Ashade2.0摄影展示 图片展示主题
    查看>>
    两款404页面自动跳转源码html
    查看>>
    二改广告横幅在线制作源码 美化版
    查看>>
    炫彩文字404动画页面源码
    查看>>
    服饰贴图定制小程序V1.2.4安装更新一体包+小程序前端
    查看>>
    一款好看新颖的404页面源码
    查看>>
    创意沙雕黑色蝙蝠侠/小丑动态404页面源码
    查看>>
    使用Mac OS X如何开启和配置防火墙
    查看>>
    格式化Mac硬盘---DoYourData Super Eraser安全、快速
    查看>>
    MacOS磁盘分区出错的解决办法
    查看>>
    MacOS 应对系统无响应的方法
    查看>>
    使用KeyShot调整一个场景中的照明亮度
    查看>>
    Mac隐藏辅助功能|自定义苹果Mac显示器
    查看>>