<div dir="ltr">Hello,<div><br></div><div>I think I have the same problem, at least in my case the problem is with the Shared memory.</div><div><br></div><div>Kamailio is configured to use 4GB of shared memory (-m 4096) and after restart, he is getting all 4GB of memory and keep it decreasing slowly until it reaches the low values (40-50MiB) and then giving such errors in the log file:</div><div><br></div><div>ERROR: <core> [core/mem/q_malloc.c:298]: qm_find_free(): qm_find_free(0x7f5a4ce08000, 65832); Free fragment not found!<br></div><div>ERROR: <core> [core/mem/q_malloc.c:432]: qm_malloc(): qm_malloc(0x7f5a4ce08000, 65832) called from websocket: ws_conn.c: wsconn_add(197), module: websocket; Free fragment not found!<br></div><div>ERROR: websocket [ws_conn.c:199]: wsconn_add(): allocating shared memory<br></div><div><br></div><div>In my case the issue seems to be because of the WebSocket module, we have another server running without this module and don't have such an issue. As a workaround, we fixed it by restarting it weekly during the maintenance window when the call volume is not so high. But, would be nice to have it fixed within the application.</div><div><br></div><div><div>version: kamailio 5.4.3 (x86_64/linux) b0a629<br></div><div></div></div><div><br></div><div>kamcmd core.shmmem<br>{<br> total: 0<br> free: -645796512<br> used: 636107136<br> real_used: 645796512<br> max_used: 670026920<br> fragments: 5161<br>}<br></div><div><br></div><div>kamcmd mod.stats all shm<br>Module: core<br>{<br> tcpconn_new(1134): 5277264<br> build_req_buf_from_sip_req(2218): 83064<br> sip_msg_shm_clone(496): 442968<br> counters_prefork_init(212): 112896<br> cfg_clone_str(130): 240<br> cfg_shmize(217): 1264<br> main_loop(1313): 8<br> init_pt(107): 8<br> init_pt(106): 8<br> init_pt(105): 6216<br> cfg_register_ctx(47): 128<br> cfg_parse_str(907): 504<br> register_timer(995): 432<br> init_tcp(4962): 8192<br> init_tcp(4956): 32768<br> init_tcp(4947): 8<br> init_tcp(4940): 8<br> init_tcp(4933): 8<br> init_tcp(4927): 8<br> init_tcp(4915): 8<br> init_avps(90): 8<br> init_avps(89): 8<br> init_dst_blacklist(438): 16384<br> init_dst_blacklist(430): 8<br> timer_alloc(498): 96<br> init_dns_cache(361): 8<br> init_dns_cache(352): 16384<br> init_dns_cache(344): 16<br> init_dns_cache(336): 8<br> init_timer(267): 8<br> init_timer(266): 16384<br> init_timer(265): 8<br> init_timer(264): 8<br> init_timer(253): 8<br> init_timer(221): 8<br> init_timer(210): 278544<br> init_timer(209): 8<br> init_timer(197): 8<br> cfg_child_cb_new(829): 64<br> sr_cfg_init(361): 8<br> sr_cfg_init(354): 8<br> sr_cfg_init(347): 8<br> sr_cfg_init(335): 8<br> sr_cfg_init(323): 8<br> qm_shm_lock_init(1202): 8<br> Total: 6294016<br>}<br><br>Module: snmpstats<br>{<br> initInterprocessBuffers(100): 8<br> initInterprocessBuffers(86): 40<br> initInterprocessBuffers(85): 40<br> register_message_code_statistics(281): 576<br> register_message_code_statistics(278): 576<br> Total: 1240<br>}<br><br>Module: db_mysql<br>{<br> Total: 0<br>}<br><br>Module: permissions<br>{<br> domain_name_table_insert(978): 736<br> addr_hash_table_insert(458): 4096<br> init_addresses(526): 8<br> new_domain_name_table(865): 2048<br> init_addresses(512): 8<br> new_subnet_table(635): 57456<br> init_addresses(498): 8<br> new_addr_hash_table(418): 2048<br> hash_table_insert(164): 48<br> hash_table_insert(134): 216<br> init_trusted(220): 8<br> new_hash_table(98): 2048<br> Total: 68728<br>}<br><br>Module: auth<br>{<br> Total: 0<br>}<br><br>Module: rr<br>{<br> Total: 0<br>}<br><br>Module: dialog<br>{<br> dlg_get_iuid_shm_clone(308): 16<br> new_dlg_var(108): 2160<br> new_dlg_var(117): 712<br> new_dlg_var(127): 584<br> init_dlg_table(297): 131088<br> init_dlg_table(289): 8<br> init_dlg_table(282): 8<br> init_dlg_table(277): 8<br> init_dlg_timer(57): 8<br> init_dlg_timer(48): 32<br> new_dlg_profile(188): 960<br> Total: 135584<br>}<br><br>Module: ipops<br>{<br> Total: 0<br>}<br><br>Module: jsonrpcs<br>{<br> Total: 0<br>}<br><br>Module: xlog<br>{<br> Total: 0<br>}<br><br>Module: sqlops<br>{<br> Total: 0<br>}<br><br>Module: rtpengine<br>{<br> shm_str_dup(779): 2808<br> rtpp_function_call(2627): 3248<br> rtpengine_hash_table_init(111): 14336<br> rtpengine_hash_table_init(96): 2048<br> rtpengine_hash_table_init(85): 1024<br> rtpengine_hash_table_init(76): 2048<br> rtpengine_hash_table_init(67): 2048<br> rtpengine_hash_table_init(58): 32<br> add_rtpengine_socks(975): 24<br> add_rtpengine_socks(956): 64<br> get_rtpp_set(870): 8<br> get_rtpp_set(861): 56<br> mod_init(1596): 8<br> mod_init(1589): 24<br> mod_init(1576): 8<br> mod_init(1569): 8<br> mod_init(1555): 16<br> Total: 27808<br>}<br><br>Module: registrar<br>{<br> Total: 0<br>}<br><br>Module: pv<br>{<br> Total: 0<br>}<br><br>Module: textops<br>{<br> Total: 0<br>}<br><br>Module: htable<br>{<br> ht_cell_new(186): 400288<br> ht_init_tables(394): 17920<br> ht_add_table(289): 1560<br> Total: 419768<br>}<br><br>Module: geoip2<br>{<br> Total: 0<br>}<br><br>Module: db_cluster<br>{<br> dbcl_init_con(112): 16<br> Total: 16<br>}<br><br>Module: tm<br>{<br> build_cell(334): 873064<br> prepare_new_uac(532): 4336<br> relay_reply(2058): 46704<br> prepare_new_uac(548): 7312<br> init_tm_stats_child(56): 10752<br> insert_tmcb(135): 1112<br> init_tmcb_lists(72): 16<br> init_tmcb_lists(70): 16<br> init_hash_table(482): 2097152<br> Total: 3040464<br>}<br><br>Module: usrloc<br>{<br> mem_update_ucontact(275): 360<br> new_urecord(58): 19848<br> new_ucontact(96): 76072<br> shm_str_dup(779): 81856<br> build_stat_name(57): 64<br> new_udomain(99): 49152<br> new_udomain(92): 48<br> new_dlist(760): 16<br> new_dlist(752): 32<br> register_ulcb(94): 32<br> new_urecord(65): 9160<br> init_ulcb_list(45): 16<br> Total: 236656<br>}<br><br>Module: websocket<br>{<br> wsconn_add(197): 588836728<br> wsconn_init(109): 16<br> wsconn_init(100): 8192<br> wsconn_init(89): 8<br> wsconn_init(79): 8<br> Total: 588844952<br>}<br><br>Module: tls<br>{<br> tls_complete_init(230): 15184<br> ksr_tls_fix_domain(1018): 1480<br> tls_new_domain(165): 832<br> tls_new_cfg(1514): 48<br> tls_ct_wq_init(49): 8<br> mod_init(362): 8<br> mod_init(346): 8<br> ser_realloc(288): 104272<br> ser_malloc(282): 36830792<br> lock_set_alloc(66): 184<br> Total: 36952816<br>}<br><br>Module: pike<br>{<br> new_ip_node(201): 3000<br> pike_init(123): 16<br> lock_set_alloc(66): 1040<br> init_ip_tree(115): 4112<br> pike_init(105): 8<br> Total: 8176<br>}<br><br>Module: sl<br>{<br> init_sl_stats_child(125): 8064<br> sl_startup(90): 8<br> init_sl_stats(110): 8<br> Total: 8080<br>}<br><br>Module: debugger<br>{<br> dbg_init_pid_list(589): 23520<br> dbg_init_bp_list(541): 32<br> dbg_init_mod_levels(1185): 1024<br> Total: 24576<br>}<br><br>Module: tmx<br>{<br> tmx_init_pretran_table(90): 512<br> Total: 512<br>}<br><br>Module: kex<br>{<br> pkg_proc_stats_init(79): 2184<br> Total: 2184<br>}<br><br>Module: uac<br>{<br> uac_reg_init_ht(240): 512<br> uac_reg_init_ht(226): 24<br> uac_reg_init_ht(214): 512<br> uac_reg_init_ht(202): 24<br> uac_reg_init_ht(190): 8<br> reg_active_init(164): 8<br> Total: 1088<br>}<br><br>Module: cfgutils<br>{<br> mod_init(898): 8<br> mod_init(892): 8<br> mod_init(884): 8<br> Total: 24<br>}<br><br>Module: dialplan<br>{<br> mod_init(195): 8<br> add_rule2hash(591): 192<br> add_rule2hash(568): 144<br> dpl_str_to_shm(350): 368<br> build_rule(502): 720<br> repl_exp_parse(354): 864<br> repl_exp_parse(332): 48<br> reg_ex_comp(400): 1672<br> init_data(207): 8<br> init_data(200): 16<br> mod_init(162): 24<br> Total: 4064<br>}<br><br>Module: domain<br>{<br> hash_table_install(147): 24<br> hash_table_install(138): 24<br> hash_table_install(131): 48<br> mod_init(206): 8<br> mod_init(196): 1032<br> mod_init(194): 1032<br> mod_init(192): 24<br> Total: 2192<br>}<br><br>Module: exec<br>{<br> initialize_kill(149): 8<br> Total: 8<br>}<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 8 Feb 2021 at 17:56, Daniel-Constantin Mierla <<a href="mailto:miconda@gmail.com">miconda@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>
<p>Hello,</p>
<p>can you provide more details about what memory leak you talk? Is
it about shared memory (shm) or private memory (pkg) managed by
kamailio or by the system memory? How do you observed there is a
leak? Did you get error messages in Kamailio logs? If yes, can you
paste them here?</p>
<p>Cheers,<br>
Daniel<br>
</p>
<div>On 08.02.21 18:34, Uttam Giri wrote:<br>
</div>
<blockquote type="cite">
<div dir="ltr">Hi,
<div>We have observed increased memory utilization in Kamailio,
It increases every day, even though traffic is not increased.
We are using Kamailio+RTPEngine in our setup. </div>
<div>Phone---->Kamailio+RTPEngine------>Asterisk</div>
<div><br>
</div>
<div>/etc/kamailio# kamcmd mod.stats all shm<br>
Module: core<br>
{<br>
sip_msg_shm_clone(496): 542688<br>
msg_lump_cloner(986): 178776<br>
build_req_buf_from_sip_req(2218): 111968<br>
xavp_new_value(116): 22240<br>
counters_prefork_init(212): 39680<br>
cfg_clone_str(130): 40<br>
cfg_shmize(217): 712<br>
main_loop(1313): 8<br>
init_pt(107): 8<br>
init_pt(106): 8<br>
init_pt(105): 4592<br>
register_timer(995): 192<br>
init_tcp(4962): 8192<br>
init_tcp(4956): 32768<br>
init_tcp(4947): 8<br>
init_tcp(4940): 8<br>
init_tcp(4933): 8<br>
init_tcp(4927): 8<br>
init_tcp(4915): 8<br>
init_avps(90): 8<br>
init_avps(89): 8<br>
timer_alloc(498): 48<br>
init_dst_blacklist(438): 16384<br>
init_dst_blacklist(430): 8<br>
init_timer(267): 8<br>
init_timer(266): 16384<br>
init_timer(265): 8<br>
init_timer(264): 8<br>
init_timer(253): 8<br>
init_timer(221): 8<br>
init_timer(210): 278544<br>
init_timer(209): 8<br>
init_timer(197): 8<br>
cfg_child_cb_new(829): 64<br>
sr_cfg_init(361): 8<br>
sr_cfg_init(354): 8<br>
sr_cfg_init(347): 8<br>
sr_cfg_init(335): 8<br>
sr_cfg_init(323): 8<br>
qm_shm_lock_init(1202): 8<br>
Total: 1253464<br>
}<br>
</div>
<div><br>
Module: sl<br>
{<br>
init_sl_stats_child(125): 5952<br>
sl_startup(90): 8<br>
init_sl_stats(110): 8<br>
Total: 5968<br>
}<br>
<br>
Module: siptrace<br>
{<br>
mod_init(319): 8<br>
Total: 8<br>
}<br>
<br>
Module: permissions<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: xlog<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: rtpengine<br>
{<br>
rtpp_function_call(2627): 1076024<br>
shm_str_dup(779): 553016<br>
rtpengine_hash_table_init(111): 14336<br>
rtpengine_hash_table_init(96): 2048<br>
rtpengine_hash_table_init(85): 1024<br>
rtpengine_hash_table_init(76): 2048<br>
rtpengine_hash_table_init(67): 2048<br>
rtpengine_hash_table_init(58): 32<br>
add_rtpengine_socks(975): 24<br>
add_rtpengine_socks(956): 64<br>
get_rtpp_set(870): 8<br>
get_rtpp_set(861): 56<br>
mod_init(1596): 8<br>
mod_init(1589): 24<br>
mod_init(1576): 8<br>
mod_init(1569): 8<br>
mod_init(1555): 16<br>
Total: 1650792<br>
}<br>
</div>
<div><br>
Module: pv<br>
{<br>
add_shvar(177): 8<br>
add_shvar(170): 64<br>
lock_set_alloc(66): 80<br>
Total: 152<br>
}<br>
<br>
Module: phonenum<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: textops<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: rtimer<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: tm<br>
{<br>
_reply_light(496): 1640<br>
build_cell(334): 973848<br>
relay_reply(2058): 69376<br>
init_tm_stats_child(56): 7936<br>
init_tmcb_lists(72): 16<br>
init_tmcb_lists(70): 16<br>
init_hash_table(482): 2097152<br>
Total: 3149984<br>
}<br>
<br>
Module: kex<br>
{<br>
pkg_proc_stats_init(79): 1488<br>
Total: 1488<br>
}<br>
<br>
Module: tmx<br>
{<br>
tmx_init_pretran_table(90): 256<br>
Total: 256<br>
}<br>
</div>
<div><br>
Module: utils<br>
{<br>
conf_init(552): 24<br>
init_shmlock(134): 8<br>
Total: 32<br>
}<br>
<br>
Module: xhttp_prom<br>
{<br>
prom_metric_init(134): 8<br>
Total: 8<br>
}<br>
<br>
Module: dispatcher<br>
{<br>
ds_ht_init(89): 12288<br>
reindex_dests(723): 768<br>
mod_init(484): 80<br>
ds_avl_insert(3621): 1712<br>
pack_dest(411): 72<br>
ds_ht_init(79): 32<br>
ds_init_data(262): 16<br>
ds_init_data(254): 16<br>
mod_init(339): 8<br>
mod_init(337): 8<br>
ds_ping_active_init(138): 8<br>
Total: 15008<br>
}<br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
/etc/kamailio# kamcmd mod.stats all pkg<br>
Module: core<br>
{<br>
init_io_wait(469): 6192<br>
init_modules(885): 16<br>
rpc_hash_add(151): 1024<br>
cnt_hash_add(394): 2048<br>
add_callback(59): 168<br>
register_select_table(458): 48<br>
sr_wtimer_init(351): 136<br>
cfg_new_group(79): 624<br>
fix_sock_str(517): 1024<br>
fix_sock_str(500): 240<br>
add_alias(103): 96<br>
add_alias(99): 96<br>
init_dst_set(89): 32296<br>
grp_hash_add(241): 512<br>
fix_hostname(1457): 56<br>
fix_socket_list(1666): 24<br>
route_new_list(199): 184<br>
fix_param(1114): 88<br>
fix_param(1053): 312<br>
fix_expr(554): 192<br>
init_io_wait(516): 3224<br>
subst_str(514): 720<br>
mk_rval_expr2(2681): 17360<br>
mk_elem(90): 232<br>
mk_new_net(52): 48<br>
tr_new(1730): 240<br>
mk_rval_expr_v(2553): 216<br>
yyparse(2852): 736<br>
mk_rval_expr1(2621): 19096<br>
mk_rval_expr_v(2540): 109152<br>
pv_cache_add(349): 5616<br>
pv_parse_format(1173): 4984<br>
fix_param(1019): 2568<br>
mk_action(118): 44416<br>
cfg_declare(50): 3136<br>
set_mod_param_regex(145): 88<br>
set_mod_param_regex(134): 104<br>
tr_table_add(1959): 360<br>
register_module(233): 28784<br>
register_module(216): 2808<br>
load_module(417): 1552<br>
sr_push_yy_state(1627): 1008<br>
new_sock_info(348): 16<br>
new_sock_info(339): 32<br>
new_sock_info(327): 32<br>
new_sock_info(304): 48<br>
new_sock_info(299): 1200<br>
add_alias(103): 56<br>
add_alias(99): 64<br>
yyparse(677): 40<br>
yyparse(2387): 128<br>
yyparse(658): 144<br>
yyparse(1878): 168<br>
get_hdr_field(116): 232<br>
parse_headers(325): 64<br>
subst_parser(301): 120<br>
subst_parser(291): 1440<br>
subst_parser(274): 640<br>
pp_subst_add(58): 240<br>
sr_push_yy_state(1697): 24<br>
addstr(1445): 69072<br>
rpc_hash_add(105): 16280<br>
str_hash_alloc(59): 512<br>
pv_table_add(236): 17248<br>
pv_init_buffer(2139): 327680<br>
pv_init_buffer(2129): 320<br>
init_nonsip_hooks(43): 24<br>
init_rlist(146): 40<br>
rval_get_str(1259): 3696<br>
route_add(124): 968<br>
str_hash_alloc(59): 768<br>
sr_push_yy_state(1687): 464<br>
pp_define(1819): 568<br>
init_counters(125): 128<br>
cnt_hash_add(341): 27096<br>
str_hash_alloc(59): 1280<br>
Total: 762656<br>
}<br>
<br>
Module: sl<br>
{<br>
sl_register_callback(514): 64<br>
Total: 64<br>
}<br>
<br>
Module: siptrace<br>
{<br>
mod_init(340): 384<br>
Total: 384<br>
}<br>
<br>
Module: permissions<br>
{<br>
get_pathname(243): 64<br>
Total: 64<br>
}<br>
<br>
Module: xlog<br>
{<br>
mod_init(212): 4104<br>
xdbg_fixup_helper(498): 616<br>
xlog_fixup_helper(533): 3720<br>
Total: 8440<br>
}<br>
<br>
Module: rtpengine<br>
{<br>
child_init(1964): 240<br>
build_rtpp_socks(1791): 8<br>
Total: 248<br>
}<br>
<br>
Module: pv<br>
{<br>
pv_parse_xavp_name(541): 112<br>
pv_parse_xavp_name(515): 112<br>
tr_parse_string(2639): 120<br>
tr_parse_string(2628): 120<br>
tr_parse_string(2519): 104<br>
tr_parse_string(2509): 64<br>
tr_parse_string(2484): 64<br>
tr_parse_string(2473): 64<br>
add_var(65): 176<br>
add_var(58): 344<br>
Total: 1280<br>
}<br>
<br>
Module: phonenum<br>
{<br>
pv_parse_phonenum_name(131): 32<br>
sr_phonenum_add_item(99): 8<br>
sr_phonenum_add_item(93): 304<br>
Total: 344<br>
}<br>
<br>
Module: textops<br>
{<br>
fixup_method(3598): 128<br>
hname_fixup(3528): 504<br>
Total: 632<br>
}<br>
<br>
Module: rtimer<br>
{<br>
stm_e_param(384): 112<br>
stm_t_param(299): 48<br>
Total: 160<br>
}<br>
<br>
Module: tm<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: kex<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: tmx<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: utils<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: xhttp_prom<br>
{<br>
Total: 0<br>
}<br>
<br>
Module: dispatcher<br>
{<br>
Total: 0<br>
}<br>
</div>
<div><br>
</div>
<div><br>
/etc/kamailio# kamailio -v<br>
version: kamailio 5.4.3 (x86_64/linux)<br>
flags: USE_TCP, USE_TLS, USE_SCTP, TLS_HOOKS, USE_RAW_SOCKS,
DISABLE_NAGLE, USE_MCAST, DNS_IP_HACK, SHM_MMAP, PKG_MALLOC,
Q_MALLOC, F_MALLOC, TLSF_MALLOC, DBG_SR_MEMORY, USE_FUTEX,
FAST_LOCK-ADAPTIVE_WAIT, USE_DNS_CACHE, USE_DNS_FAILOVER,
USE_NAPTR, USE_DST_BLACKLIST, HAVE_RESOLV_RES,
TLS_PTHREAD_MUTEX_SHARED<br>
ADAPTIVE_WAIT_LOOPS 1024, MAX_RECV_BUFFER_SIZE 262144,
MAX_URI_SIZE 1024, BUF_SIZE 65535, DEFAULT PKG_SIZE 8MB<br>
poll method support: poll, epoll_lt, epoll_et, sigio_rt,
select.<br>
id: unknown<br>
compiled with gcc 6.3.0<br>
</div>
<div><br>
</div>
<div>Any idea which could cause a memory leak. Does any of the
module cause an issue?</div>
<div><br>
</div>
<div>Thanks in Advance.</div>
<div>Uttam</div>
<div><br>
</div>
<div><br>
</div>
</div>
<br>
<fieldset></fieldset>
<pre>_______________________________________________
Kamailio (SER) - Users Mailing List
<a href="mailto:sr-users@lists.kamailio.org" target="_blank">sr-users@lists.kamailio.org</a>
<a href="https://lists.kamailio.org/cgi-bin/mailman/listinfo/sr-users" target="_blank">https://lists.kamailio.org/cgi-bin/mailman/listinfo/sr-users</a>
</pre>
</blockquote>
<pre cols="72">--
Daniel-Constantin Mierla -- <a href="http://www.asipto.com" target="_blank">www.asipto.com</a>
<a href="http://www.twitter.com/miconda" target="_blank">www.twitter.com/miconda</a> -- <a href="http://www.linkedin.com/in/miconda" target="_blank">www.linkedin.com/in/miconda</a>
Funding: <a href="https://www.paypal.me/dcmierla" target="_blank">https://www.paypal.me/dcmierla</a></pre>
</div>
_______________________________________________<br>
Kamailio (SER) - Users Mailing List<br>
<a href="mailto:sr-users@lists.kamailio.org" target="_blank">sr-users@lists.kamailio.org</a><br>
<a href="https://lists.kamailio.org/cgi-bin/mailman/listinfo/sr-users" rel="noreferrer" target="_blank">https://lists.kamailio.org/cgi-bin/mailman/listinfo/sr-users</a><br>
</blockquote></div>