当前位置:首页 > 内存 > 正文

flink内存管理机制

  • 内存
  • 2024-08-10 02:59:07
  • 6760

一、flink配置和内存ndPorts
"0"StringAcceptsalistofports("50100,50101")、范围("50100-50200")或两者的组合。
-address(无)String
-port"8081"String
0Integer任务管理器的外部端口,用于数据交换操作。
(none)String
"0"String
olerance
restart-strategyrestart-strategy默认为空
ts固定周期重启
固定周期重启
失败率重启
restart-strategy。失败。e-rate-interval故障率重启
-failures-per-interval故障率重启
ental增量检查点(仅限支持rocksdb)
-recovery状态后端配置本地恢复,默认false,仅支持keyed状态后端
-retained保留已完成检查点的最大数量,默认1
-dirs本地恢复的根目录
ailability
high-availability默认为NONE即可启用高可用性,将模式设置为“ZOOKEEPER”或指定FQNoffactoryclass。
r-id高可用良好集群ID
eDir元数据路径
配置ZK路径
高可用性。配置ZK集群
Configuration
大多数情况下,用户只需要设置值或(根据设置而定),并可能通过调整JVM堆与托管内存的比率on。
-jvm-direct-memory-limit是否启用jm进程的JVM直接内存限制,默认为false
默认为none。这包括JobManager消耗的所有内存。非容器配置
默认为none。默认是总内存减去JVM网络、托管等元空间大小
,默认为256mb
onjm保持总进程内存比例,默认0.1
最大JVM开销,默认1gb
最小JVM开销,默认192mb
堆外内存,默认128mb,如果第一个参数启用,则此参数生效
bManager的总进程内存大小。容器化将其配置为容器总大小
skExecutor的Flink内存总大小。默认为none,非容器配置
skExecutor的框架堆内存大小。默认为128MB
skExecutor的框架堆外内存大小。默认值为128mb
skExecutorsJVM元空间大小。默认256mb
on为JVM开销保留的总进程内存的比例。默认值为0.1
kExecutor的最大JVM开销大小,默认值为1gb
kExecutor的最小JVM开销大小。默认192mb
er-weights消费者权重。DATAPROC(用于流式RocksDB状态后端和内置批处理算法)和PYTHON(用于Python进程),默认DATAPROC:70,PYTHON:30
如果托管内存未显式指定大小,Flink总内存中用作托管内存的比例,默认为0.4
skExecutor的托管内存大小。默认为none
on用作Flink总内存与网络内存的比例,默认为0.1
k的最大网络内存大小。最大任务执行器。默认1gb
kExecutor的最小网络内存大小。默认为64mb
skExecutor的总进程内存大小。默认为none,容器配置
内存,默认为none,
堆外内存,默认为0
laneousOptions
d-fallback-filesystemsnone
t-schemenone
'LOCAL_DIRS'onYarn.'_FLINK_TMP_DIR'perty("“)独立。