<div dir="ltr">Hey Mike,<div><br></div><div>I don't think the latency is with the browser or anything over a VPN connection, I think the latency lies in all of the (unnecessary) communicaton going on with the back end during a message selection. See the bug, I just uploaded some more logs. Aleksander states that all of the METADATA and LIST commands should be pulling from cache, not IMAP. I am using memcache for cache, but he wanted me to change it to DB. Again, look at the bug you'll see all of the (almost full page) of commands being checked, just on a message check from tasks, notes, etc. I don't know why the notes and tasks plugins need queries when this is happening.</div><div><br></div><div>I am also having people fight me stating they dont experience this. I am urging anyone to just "simply give it a shot" and see the result. It takes two seconds to do/try. </div><div><br></div><div>Let me know your thoughts.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Sep 14, 2015 at 2:11 PM, Brady, Mike <span dir="ltr"><<a href="mailto:mike.brady@devnull.net.nz" target="_blank">mike.brady@devnull.net.nz</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif"><div><div class="h5">
<p>On 2015-09-14 16:15, Brady, Mike wrote:</p>
<blockquote type="cite" style="padding:0 0.4em;border-left:#1010ff 2px solid;margin:0">
<p>Paul</p>
<p>On 2015-09-13 12:31, Paul Bronson wrote:</p>
<blockquote style="padding:0 0.4em;border-left:#1010ff 2px solid;margin:0">
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:#cccccc;border-left-style:solid;padding-left:1ex">
<div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif">
<blockquote style="padding:0px 0.4em;border-left-color:#1010ff;border-left-width:2px;border-left-style:solid;margin:0px">
<div>It's odd because only (not in front of me right now) a few of the actual kolab plugins check in EVERY message select. If you disable them, the system runs super fast. I watch as the plugin check in on SQL but they also check in with IMAP. I'm not sure what else to do but the Cyrus guys are telling me kolab may have compiled their SASL not too smart. </div>
</blockquote>
<div>What is it that they think is wrong exactly or at least in what area do they think that there is an issue?</div>
</div>
</blockquote>
<div> </div>
<div>They're telling me the multiple check-in's with IMAP is costly. I am not a imap dev, sorry - didn't get much more than that. Another guy suggested cache wasn't working right, but I watch things update everywhere they're supposed to regarding cache (especially in the kolab cache mysql table) so that looks well. The Mysql log shows a ton going on for a SINGLE message click. Look at the mysql logs I provided.</div>
</div>
</div>
</div>
</blockquote>
<div dir="ltr"> </div>
<p>Yes IMAP connections are costly.  You need to do anything and everything to make them cost the least that you can because they are going to happen at some point no matter what you do because that is where the data is.  As I have said before, for me the two changes directly connected to making an IMAP connection that made a (subjective) difference are adding <span>$config['imap_auth_type'] = 'PLAIN' to /etc/roundcube/config.inc.php and disabling TLS for localhost connections.</span></p>
<p><span>I did try an imapproxy a while ago, but did not perceive any improvement.  I may give that another try now that I know how to measure my response times (see below).</span></p>
<div dir="ltr"> </div>
<blockquote style="padding:0 0.4em;border-left:#1010ff 2px solid;margin:0">
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div> </div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:#cccccc;border-left-style:solid;padding-left:1ex">
<div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif">
<blockquote style="padding:0px 0.4em;border-left-color:#1010ff;border-left-width:2px;border-left-style:solid;margin:0px">
<div>At this point I am hoping to hear something from these guys about what's going on. </div>
<div>Mike - have you tried following my steps in the bug? You may see a difference just disabling the few plugins (testing obviously, not permanent). Just following the steps I provided and see what happens. </div>
</blockquote>
<div>I have not tried this because, as I have said before, I do not see this behaviour at all.</div>
</div>
</blockquote>
<div> </div>
<div>You (as many others) may not think your install is slow, but I am telling you, just go in, disable the plugins I have explained, and give it a shot. Watch your message load increase by 10x. Christian (CC'ed) tried this, and it worked awesome for him as well. Of course this isn't perfect/permanent and you can simply re-enable the plugins, nothing will happen to your install. I would at least try it and you'll see what I am talking about. Maybe you just aren't used to the fast actions on mail servers like I am. Give it a shot.</div>
<div> </div>
<div>To be more specific:</div>
</div>
</div>
</div>
</blockquote>
<blockquote style="padding:0 0.4em;border-left:#1010ff 2px solid;margin:0">
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:#cccccc;border-left-style:solid;padding-left:1ex">
<div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif">
<div><span style="font-size:10pt">With the preview pane enabled, if I select (meaning one click) a message that is not in the cache I see two logins.  Using tshark on the Kolab server it looks like one login fetches the message and one login accesses the Configuration folder.  That is all.  I have never seen "one login per plugin" (which is what I believe you are saying that you are seeing) when selecting an email. The configuration folder is where tags are kept and if there are entries in that folder there will be some searches done within the session for tags.  </span></div>
<div><span style="font-size:10pt">Subjectively (I must find out how to get some actual timings), from the time that I click on a email to the time it is displayed in the preview pane is about one second.  Maybe a little more sometimes.  I would love to get my message display times to be consistently < 1sec</span></div>
</div>
</blockquote>
<div> </div>
</div>
</div>
</div>
</blockquote>
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div> </div>
<div>My subjective 1 second for viewing an email was out a bit.  Doing some tests today, according to Google Chrome Inspect Element, my response time for the selection and viewing of an email in the preview pane is consistently around 550ms and that is over a 1Mbit link.  I will test on a network local to the server when I get the chance.  This was with accessing Roundcube over HTTPS and with all plugins enabled, except the files plugin as I do not use this and it had some issues a while back so I have it disabled.</div>
<div> </div>
</div>
</div>
</div>
<blockquote style="padding:0 0.4em;border-left:#1010ff 2px solid;margin:0">
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div>I am going to say user and sys on USAGE is probably the timing numbers to go against. Let's see what cyrus guys CCed on this have to say.</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:#cccccc;border-left-style:solid;padding-left:1ex">
<div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif">
<blockquote style="padding:0px 0.4em;border-left-color:#1010ff;border-left-width:2px;border-left-style:solid;margin:0px">
<div>Cyrus guys blamed SASL but also wondered why my entropy was so low. I've done a lot of research over the past few weeks learning about entropy generation and it seems on a normal server it seems to be normal to have 1000 something.. Even on a headless server. My other production servers only have 180 and they're lightning fast. So I'm confused. </div>
</blockquote>
<div><br>My entropy is no better than yours, but it could still be a contributing factor.</div>
</div>
</blockquote>
<div> </div>
<div>What's your entropy at? Is it headless?</div>
<div> </div>
</div>
</div>
</div>
</blockquote>
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div> </div>
<div>From the quick look that I had last week my entropy was somewhere around 150-200.  I installed <span>haveged a couple of days ago and now the entropy is consistently >2000, but I do not believe that it has made any difference and I may well remove it.<br></span></div>
<div> </div>
<div><span>My Kolab server is a Centos 6.6 KVM virtual machine on a Centos 6.7 host.  The host is headless. I am hoping to get the virtual machine migrated to Centos 7.1 on </span><span>the same host this week.</span></div>
</div>
</div>
</div>
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div> </div>
</div>
</div>
</div>
<blockquote style="padding:0 0.4em;border-left:#1010ff 2px solid;margin:0">
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:#cccccc;border-left-style:solid;padding-left:1ex">
<div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif">
<div>I do not think that there is a single setting that is going to suddenly make Kolab perform.  It is going to be the sum of a lot of things starting with the hardware and working up.  Every little bit is going to help. </div>
<div> </div>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div style="font-size:10pt;font-family:Verdana,Geneva,sans-serif">
<div> </div>
<div>I have to reiterate this.  No one thing has given me the performance that I have.  Everything from your hard disk configuration up on through your Apache configuration and all points in between is going to contribute to your performance (or the lack there of).</div>
<div> </div>
<div>Regards</div>
<div> </div>
<div>Mike</div>
</div>
</div>
</div>
</div>
<div> </div>
</blockquote>
</div></div><p>Paul</p>
<p>Quick test (only checked with a few different messages) this morning from a network segment on the same site (routed via virtual pfSense on the same host) gives times consistently less than 400ms.  </p>
<p>Yesterdays tests were over an OpenVPN connection to the same pfSense mentioned above.</p>
<p>This was using the same laptop as a client with the timings coming from Google Chrome Inspect Element again.  One thing that Google Chrome Inspect Element shows is that the browser cache plays a big role in this performance as it caches all the css and js that is fetched on every email selection.</p>
<p>Is <400ms slow?</p>
<p>Regards</p><span class="HOEnZb"><font color="#888888">
<p>Mike</p>
<p> </p>
<div> </div>
</font></span></div>
<br>_______________________________________________<br>
users mailing list<br>
<a href="mailto:users@lists.kolab.org">users@lists.kolab.org</a><br>
<a href="https://lists.kolab.org/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.kolab.org/mailman/listinfo/users</a><br></blockquote></div><br></div>