<div dir="ltr"><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">Since it seem you are recovering the memory this does not seems like a real "leak"</span><br style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial"><br></div><div><br></div>One hypothesis :<div><br></div><div>When you restart a node on the DMQ bus, it can trigger memory usage on the other nodes since they will start to do a SYNC and send one DMQ message / contact<div>It could be that one node in the DMQ bus is restarted and not answering DMQ messages ?</div><div><br></div><div><br></div><div>Few ideas :</div><div><br></div><div>You could search you trace, maybe <span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">you will find the DMQ sync requests ...</span></div><div><br></div><div>You can also confirm significant increase in active transactions.</div><div><br></div><div>Verify the state of the bus :<br><div>kamcmd  dmq.list_nodes</div><div><br></div><div>Verify the amount of contact on each node (confirm that the cluster is healthy)</div><div>kamctl stats | grep usrloc | grep contact</div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jul 31, 2018 at 9:21 AM, Rogelio Perez <span dir="ltr"><<a href="mailto:rogelio@telnyx.com" target="_blank">rogelio@telnyx.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thanks Daniel, Charles and Julien.<br><br>I confirm we're not getting the error log "running job failed".<br>The behavior is always the same, any of the two failover instances would run without issues for a day or two and then suddenly start consuming all available memory in the span of an hour or less.<br><div>Please check these graphs with some examples for more details: <a href="https://www.dropbox.com/sh/tu0jxi1vlbq81m8/AABhfz9rDumdCu3l0ROH7Lkla?dl=0" target="_blank">https://www.dropbox.com/sh/<wbr>tu0jxi1vlbq81m8/<wbr>AABhfz9rDumdCu3l0ROH7Lkla?dl=0</a></div><div><br></div><div>I'll try Daniel's patch and confirm results soon.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>Rogelio<br></div><div><br></div><div><br></div></font></span></div>
</blockquote></div><br></div>