<div dir="ltr"><div>Hello,</div><div><br></div><div>We're running three instances of Kamailo v5.14 as registrars handling registrations from ~2000 SIP clients, with one instance being primary and the other two as backups.</div><div><br></div><div>The three of them are using the dmq and dmq_usrloc modules to synchronize user locations, however after a couple of days of operation the two failover instances show memory leak behaviors, with mem usage assigned to the core taking all available resources.<br></div><div><br></div><div>When this happens we've noticed that:<br></div> - The shared memory used by the function "<span class="m_-3181406981141791056gmail-m_4123646824836054726m_4959446694813274363gmail-m_-5601345256008515377gmail-m_8524775435516132372gmail-pl-en">sip_msg_shm_clone</span>" spikes (from 1kb to 1.5GB).<br>  - The shared memory used by the function 
"dmq:worker.c:job_queue_push" also increases, but not as much (from 1kb to 1MB)<br> - DMQ request  are not being answered 
(with a 200 OK) by the affected instance during this memory leak, which make us 
think that DMQ module becomes unresponsive.<div><br></div><div>A few more notes:</div><div> - The failover instances are doing nothing except receiving replicated contacts.</div><div> - The shared memory grows at the same rate on both instances, but the critical behavior never happens at the same time.</div><div> - We are allocating 1GB memory on startup to each instance.</div><div> - We store the location DB in a psql DB and we load it at startup.<br></div><div> - We didn't find any errors in syslog, even at debug level.</div><div><div><div><br></div><div>Has anyone experienced a similar issue who can suggest a possible solution?</div><div><br></div><div>Thanks,</div><div>Rogelio Perez</div><div>Telnyx<br></div></div></div></div>