<div dir="ltr">Hello,<div><br></div><div>not using dmq much, but at a quick look in the code, I noticed that there are some cases when the job fields were not released if the processing was not completely done for various reasons.</div><div><br></div><div>I pushed the commit a1f5fbe2c18246d4afefa44fd8a52612a5182a46, can you try with it and see the results?</div><div><br></div><div>Maybe Charles Chance can also do a bit of review here, being the one doing most of the work lately for dmq.</div><div><br></div><div>Cheers,</div><div>Daniel</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jul 31, 2018 at 6:58 AM, Rogelio Perez <span dir="ltr"><<a href="mailto:rogelio@telnyx.com" target="_blank">rogelio@telnyx.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hello,</div><div><br></div><div>We're running three instances of Kamailo v5.14 as registrars handling registrations from ~2000 SIP clients, with one instance being primary and the other two as backups.</div><div><br></div><div>The three of them are using the dmq and dmq_usrloc modules to synchronize user locations, however after a couple of days of operation the two failover instances show memory leak behaviors, with mem usage assigned to the core taking all available resources.<br></div><div><br></div><div>When this happens we've noticed that:<br></div> - The shared memory used by the function "<span class="m_3667832859572217976m_-3181406981141791056gmail-m_4123646824836054726m_4959446694813274363gmail-m_-5601345256008515377gmail-m_8524775435516132372gmail-pl-en">sip_msg_shm_clone</span>" spikes (from 1kb to 1.5GB).<br>  - The shared memory used by the function 
"dmq:worker.c:job_queue_push" also increases, but not as much (from 1kb to 1MB)<br> - DMQ request  are not being answered 
(with a 200 OK) by the affected instance during this memory leak, which make us 
think that DMQ module becomes unresponsive.<div><br></div><div>A few more notes:</div><div> - The failover instances are doing nothing except receiving replicated contacts.</div><div> - The shared memory grows at the same rate on both instances, but the critical behavior never happens at the same time.</div><div> - We are allocating 1GB memory on startup to each instance.</div><div> - We store the location DB in a psql DB and we load it at startup.<br></div><div> - We didn't find any errors in syslog, even at debug level.</div><div><div><div><br></div><div>Has anyone experienced a similar issue who can suggest a possible solution?</div><div><br></div><div>Thanks,</div><div>Rogelio Perez</div><div>Telnyx<br></div></div></div></div>
<br>______________________________<wbr>_________________<br>
Kamailio (SER) - Users Mailing List<br>
<a href="mailto:sr-users@lists.kamailio.org">sr-users@lists.kamailio.org</a><br>
<a href="https://lists.kamailio.org/cgi-bin/mailman/listinfo/sr-users" rel="noreferrer" target="_blank">https://lists.kamailio.org/<wbr>cgi-bin/mailman/listinfo/sr-<wbr>users</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Daniel-Constantin Mierla - <a href="http://www.asipto.com" target="_blank">http://www.asipto.com</a></div><div><a href="http://twitter.com/#!/miconda" target="_blank">http://twitter.com/#!/miconda</a> - <a href="http://www.linkedin.com/in/miconda" target="_blank">http://www.linkedin.com/in/miconda</a></div></div></div></div></div>
</div>