当前位置:首页 > 内存 > 正文

flink设置taskmanager内存

  • 内存
  • 2024-08-12 05:41:27
  • 9652

一、flink配置和内存ndPorts
"0"StringAcceptsalistofports("50100,50101"),ranges("50100-50200")orcombinationofboth.
-address(none)String
-port"8081"String
0Integer任务管理器的外部端口,用于数据交换操作。
(none)String
"0"String
olerance
restart-strategy重启策略默认为空
restart-战略。ts固定周期重启
固定周期重启
失败率重启
e-rate-interval失败率重启
-failures-per-interval失败率重启
ental增量检查点(仅支持Rocksdb)
-recovery状态后端配置本地恢复,默认false,仅支持keyed状态后端
-retained保留已完成检查点的最大数量,默认1
-dirs本地恢复的根目录
ailability
高可用默认为NONE即可启用高可用,将此模式设置为“ZOOKEEPER”或指定FQNoffactoryclass。
高可用。cluster-idhigh-availabilityflink集群ID
eDir元数据路径
配置ZK路径
per。仲裁配置ZKCluster
Configuration
大多数情况下,用户只需要设置值或(取决于设置方式),可能通过调整JVM堆与托管内存的比率on来实现。
-jvm-direct-memory-limit是否启用jm进程的JVM直接内存限制,默认为false
默认为none。这包括JobManager消耗的所有内存。非容器配置
默认为none。默认为总内存减去JVM、网络、托管等元空间大小
,默认为256mb
onjm保留总进程内存比例,默认0.1
最大JVM开销,默认1gb
最小JVM开销,默认192mb
jobmanager.内存。堆外内存,默认128mb,如果第一个参数启用,这个将生效
bManager的总进程内存大小。容器化将其配置为容器总大小
skExecutor的Flink内存总大小。默认为none,非容器配置
skExecutor的框架堆内存大小。默认为128mb
skExecutor的框架堆外内存大小。默认为128mb
skExecutor的JVM元空间大小。默认256mb
on为JVM开销保留的总进程内存的比例。默认为0.1
kExecutor的最大JVM开销大小,默认为1gb
kExecutor的最小JVM开销大小。默认192mb
er-weights消费者权重。DATAPROC(用于流式RocksDB状态后端和批处理内置算法)和PYTHON(用于Python进程),默认DATAPROC:70,PYTHON:30
如果未明确指定托管内存大小,则为on,将用作托管内存的Flink总内存的比例,默认为0.4
skExecutor的托管内存大小。默认为none
on用作网络内存占Flink总内存的分数,默认为0.1
k的最大网络内存大小。最大任务执行器。默认1gb
kExecutor的最小网络内存大小。默认是64mb
skExecutor的总进程内存大小。默认为none,容器配置
内存,默认为none,
堆外内存,默认为0
laneousOptions
d-fallback-filesystemsnone
t-schemenone
'LOCAL_DIRS'onYarn.'_FLINK_TMP_DIR'perty("“)独立。