<p>Hi Daniel,</p>
<p>More information. I'm attaching the log (with debug=2) between the dispatcher nodes down & up at the time of the problem.</p>
<p><a href="https://github.com/kamailio/kamailio/files/1117574/kamailio_sbc_2.log.txt">kamailio_sbc_2.log.txt</a></p>
<p>Some extra stuff:</p>
<ol>
<li>There is a gap a little bit after the dispatcher sets the nodes down, until a little before the dispatcher sets the nodes up, hope this helps.</li>
<li>We use VoIPmonitor and the sensor receives the traffic from a port mirror on the switch, in the timeframe of the issue, there is no traffic detected from the affected server.</li>
<li>We pull performance metrics from Kamailio every 10 seconds using xhttp and json-rpc modules, during the issue our tool can't pool metric either:</li>
</ol>
<pre><code>2017-07-01T22:02:15Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: timeout awaiting response headers (Client.Timeout exceeded while awaiting headers)
2017-07-01T22:02:25Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
2017-07-01T22:02:35Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
[...]
[...]
[...]
2017-07-01T22:39:25Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
2017-07-01T22:39:35Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
2017-07-01T22:39:45Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
</code></pre>
<p>I will leave the tcpdumps enabled anyway in case next time it happens we can get more or better information.</p>
<p>Joel.</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">—<br />You are receiving this because you are subscribed to this thread.<br />Reply to this email directly, <a href="https://github.com/kamailio/kamailio/issues/1172#issuecomment-312466536">view it on GitHub</a>, or <a href="https://github.com/notifications/unsubscribe-auth/AF36ZdHm7_QhQZ0e0be_0zODBGAf2NnNks5sJv6wgaJpZM4OIFBs">mute the thread</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AF36ZaL4LLIIR_BFhyfNeMCk_vweVv0Wks5sJv6wgaJpZM4OIFBs.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/kamailio/kamailio/issues/1172#issuecomment-312466536"></link>
  <meta itemprop="name" content="View Issue"></meta>
</div>
<meta itemprop="description" content="View this Issue on GitHub"></meta>
</div>

<script type="application/json" data-scope="inboxmarkup">{"api_version":"1.0","publisher":{"api_key":"05dde50f1d1a384dd78767c55493e4bb","name":"GitHub"},"entity":{"external_key":"github/kamailio/kamailio","title":"kamailio/kamailio","subtitle":"GitHub repository","main_image_url":"https://cloud.githubusercontent.com/assets/143418/17495839/a5054eac-5d88-11e6-95fc-7290892c7bb5.png","avatar_image_url":"https://cloud.githubusercontent.com/assets/143418/15842166/7c72db34-2c0b-11e6-9aed-b52498112777.png","action":{"name":"Open in GitHub","url":"https://github.com/kamailio/kamailio"}},"updates":{"snippets":[{"icon":"PERSON","message":"@joelsdc in #1172: Hi Daniel, \r\n\r\nMore information. I'm attaching the log (with debug=2) between the dispatcher nodes down \u0026 up at the time of the problem.\r\n\r\n[kamailio_sbc_2.log.txt](https://github.com/kamailio/kamailio/files/1117574/kamailio_sbc_2.log.txt)\r\n\r\n\r\nSome extra stuff:\r\n\r\n1. There is a gap a little bit after the dispatcher sets the nodes down, until a little before the dispatcher sets the nodes up, hope this helps.\r\n2. We use VoIPmonitor and the sensor receives the traffic from a port mirror on the switch, in the timeframe of the issue, there is no traffic detected from the affected server.\r\n3. We pull performance metrics from Kamailio every 10 seconds using xhttp and json-rpc modules, during the issue our tool can't pool metric either:\r\n\r\n```\r\n2017-07-01T22:02:15Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: timeout awaiting response headers (Client.Timeout exceeded while awaiting headers)\r\n2017-07-01T22:02:25Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)\r\n2017-07-01T22:02:35Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)\r\n[...]\r\n[...]\r\n[...]\r\n2017-07-01T22:39:25Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)\r\n2017-07-01T22:39:35Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)\r\n2017-07-01T22:39:45Z E! Error in plugin [inputs.httpjson]: Get http://127.0.0.1/statistics: net/http: request canceled (Client.Timeout exceeded while awaiting headers)\r\n```\r\n\r\nI will leave the tcpdumps enabled anyway in case next time it happens we can get more or better information.\r\n\r\n\r\nJoel.\r\n\r\n\r\n"}],"action":{"name":"View Issue","url":"https://github.com/kamailio/kamailio/issues/1172#issuecomment-312466536"}}}</script>