博客
关于我
Hadoop-之重要生产参数调优(yarn调度资源容量配置,namenode心跳及请求线程池大小配置)
阅读量:724 次
发布时间:2019-03-21

本文共 1120 字,大约阅读时间需要 3 分钟。

Hadoop生产环境参数优化指南

作为HDFS集群的核心管理节点,NameNode负责处理用户请求和与DataNode之间的通信。为了保证集群的高效运作,NameNode内部维护了一个线程池来处理上述任务。默认情况下,NameNode会初始化10个请求处理的线程,但根据官方建议,这一线程池的大小应该根据集群规模进行调整。

NameNode线程池参数优化

要理解NameNode线程池的大小设置,我们需要考虑以下几个方面:

  • 线程池规模默认值:默认情况下,NameNode会初始化10个线程来处理客户端的请求。

  • 官方推荐公式:官方建议使用 20 * log(n),其中 n 是集群的节点数量。注意这里的 log 函数具体是自然对数还是以10为底的对数,具体取决于Hadoop的实现细节。

    例如,如果集群包含8个节点,计算方法将为 20 * log(8)。根据实际需要,可以进一步调整这个值以适应不同的集群负载情况。

  • 线程池大小的意义:线程池大小直接影响NameNode的处理能力。建议根据网站的访问压力和集群规模动态调整这一参数,以避免处理延迟陡增的情况。

  • Yarn资源分配配置

    Yarn是Hadoop的资源管理框架,负责集群内资源的动态分配。为了实现资源的充分利用,需要对以下参数进行优化配置:

  • yarn.nodemanager.resource.memory-mb:默认设置为8092MB,表示每个NodeManager节点可向容器分配的内存资源大小。该值基于物理内存计算,建议根据集群的实际内存约束进行调整。

    注意:该值不是虚拟内存,而是指物理内存的一部分,因此需要根据实际情况谨慎配置。通常建议根据集群的工作负载特点进行优化,如长时间运行的任务可能需要更大的内存支持。

  • yarn.scheduler.maximum-allocation-mb:默认值也是8092MB,表示每个Container节点申请的最大内存量。为了防止某些任务超过内存限制,建议将这个值根据任务需求和集群容量进行调整。

  • ###配置与验证

    在完成上述参数设置后,需要对集群进行充分的测试和验证,确保各项配置能够满足实际应用需求。推荐采用小规模集群进行预热测试,观察其性能表现。

    ###总结

    合理配置NameNode线程池参数和Yarn资源分配参数,是确保Hadoop集群高效运行的关键。通过动态调整上述参数,可以在不同负载情况下优化集群性能,提升整体的资源利用率。

    需要注意的是,以上参数的配置需要根据实际情况逐步调整,建议在生产环境中采用渐进式优化策略,先进行小范围测试,再逐步推广。同时,定期监控集群状态,及时发现和解决潜在问题,是保障集群稳定运行的重要手段。

    转载地址:http://pcygz.baihongyu.com/

    你可能感兴趣的文章
    mysql-递归查询(二)
    查看>>
    MySQL5.1安装
    查看>>
    mysql5.5和5.6版本间的坑
    查看>>
    mysql5.5最简安装教程
    查看>>
    mysql5.6 TIME,DATETIME,TIMESTAMP
    查看>>
    mysql5.6.21重置数据库的root密码
    查看>>
    Mysql5.6主从复制-基于binlog
    查看>>
    MySQL5.6忘记root密码(win平台)
    查看>>
    MySQL5.6的Linux安装shell脚本之二进制安装(一)
    查看>>
    MySQL5.6的zip包安装教程
    查看>>
    mysql5.7 for windows_MySQL 5.7 for Windows 解压缩版配置安装
    查看>>
    Webpack 基本环境搭建
    查看>>
    mysql5.7 安装版 表不能输入汉字解决方案
    查看>>
    MySQL5.7.18主从复制搭建(一主一从)
    查看>>
    MySQL5.7.19-win64安装启动
    查看>>
    mysql5.7.19安装图解_mysql5.7.19 winx64解压缩版安装配置教程
    查看>>
    MySQL5.7.37windows解压版的安装使用
    查看>>
    mysql5.7免费下载地址
    查看>>
    mysql5.7命令总结
    查看>>
    mysql5.7安装
    查看>>