博客
关于我
Hadoop-之重要生产参数调优(yarn调度资源容量配置,namenode心跳及请求线程池大小配置)
阅读量:724 次
发布时间:2019-03-21

本文共 1120 字,大约阅读时间需要 3 分钟。

Hadoop生产环境参数优化指南

作为HDFS集群的核心管理节点,NameNode负责处理用户请求和与DataNode之间的通信。为了保证集群的高效运作,NameNode内部维护了一个线程池来处理上述任务。默认情况下,NameNode会初始化10个请求处理的线程,但根据官方建议,这一线程池的大小应该根据集群规模进行调整。

NameNode线程池参数优化

要理解NameNode线程池的大小设置,我们需要考虑以下几个方面:

  • 线程池规模默认值:默认情况下,NameNode会初始化10个线程来处理客户端的请求。

  • 官方推荐公式:官方建议使用 20 * log(n),其中 n 是集群的节点数量。注意这里的 log 函数具体是自然对数还是以10为底的对数,具体取决于Hadoop的实现细节。

    例如,如果集群包含8个节点,计算方法将为 20 * log(8)。根据实际需要,可以进一步调整这个值以适应不同的集群负载情况。

  • 线程池大小的意义:线程池大小直接影响NameNode的处理能力。建议根据网站的访问压力和集群规模动态调整这一参数,以避免处理延迟陡增的情况。

  • Yarn资源分配配置

    Yarn是Hadoop的资源管理框架,负责集群内资源的动态分配。为了实现资源的充分利用,需要对以下参数进行优化配置:

  • yarn.nodemanager.resource.memory-mb:默认设置为8092MB,表示每个NodeManager节点可向容器分配的内存资源大小。该值基于物理内存计算,建议根据集群的实际内存约束进行调整。

    注意:该值不是虚拟内存,而是指物理内存的一部分,因此需要根据实际情况谨慎配置。通常建议根据集群的工作负载特点进行优化,如长时间运行的任务可能需要更大的内存支持。

  • yarn.scheduler.maximum-allocation-mb:默认值也是8092MB,表示每个Container节点申请的最大内存量。为了防止某些任务超过内存限制,建议将这个值根据任务需求和集群容量进行调整。

  • ###配置与验证

    在完成上述参数设置后,需要对集群进行充分的测试和验证,确保各项配置能够满足实际应用需求。推荐采用小规模集群进行预热测试,观察其性能表现。

    ###总结

    合理配置NameNode线程池参数和Yarn资源分配参数,是确保Hadoop集群高效运行的关键。通过动态调整上述参数,可以在不同负载情况下优化集群性能,提升整体的资源利用率。

    需要注意的是,以上参数的配置需要根据实际情况逐步调整,建议在生产环境中采用渐进式优化策略,先进行小范围测试,再逐步推广。同时,定期监控集群状态,及时发现和解决潜在问题,是保障集群稳定运行的重要手段。

    转载地址:http://pcygz.baihongyu.com/

    你可能感兴趣的文章
    mYSQL 外键约束
    查看>>
    mysql 多个表关联查询查询时间长的问题
    查看>>
    mySQL 多个表求多个count
    查看>>
    mysql 多字段删除重复数据,保留最小id数据
    查看>>
    MySQL 多表联合查询:UNION 和 JOIN 分析
    查看>>
    MySQL 大数据量快速插入方法和语句优化
    查看>>
    mysql 如何给SQL添加索引
    查看>>
    mysql 字段区分大小写
    查看>>
    mysql 字段合并问题(group_concat)
    查看>>
    mysql 字段类型类型
    查看>>
    MySQL 字符串截取函数,字段截取,字符串截取
    查看>>
    MySQL 存储引擎
    查看>>
    mysql 存储过程 注入_mysql 视图 事务 存储过程 SQL注入
    查看>>
    MySQL 存储过程参数:in、out、inout
    查看>>
    mysql 存储过程每隔一段时间执行一次
    查看>>
    mysql 存在update不存在insert
    查看>>
    Mysql 学习总结(86)—— Mysql 的 JSON 数据类型正确使用姿势
    查看>>
    Mysql 学习总结(87)—— Mysql 执行计划(Explain)再总结
    查看>>
    Mysql 学习总结(88)—— Mysql 官方为什么不推荐用雪花 id 和 uuid 做 MySQL 主键
    查看>>
    Mysql 学习总结(89)—— Mysql 库表容量统计
    查看>>