Second mastodon.nl support call

Vanmorgen bleek ik geen plaatjes meer te kunnen uploaden op mastodon.nl. Niet veel later bleken meerdere gebruikers daar last van te hebben.

Toen ik de credentials van de server ergens uit een Signal chat had gevist, kon ik op onderzoek uit. Uiteindelijk bleken er tienduizenden berichten in de sidekiq queues te hangen, terwijl de server ingesteld was om maximaal 5 berichten parallel af te handelen :-)

Dus dat getal is een paar keer omhoog gegaan om uiteindelijk te eindigen op 3000 concurrent threads. Toen was de queue van 80k+ berichten toch vrij vlot afgehandeld.

Dit is dus typisch het gevolg van de influx van veel nieuwe (actieve) gebruikers. Leuk, er gebeurd wat!

Nu eens kijken of plaatjes uploaden nu weer wil.

Update

Later op de avond bleef de server heel druk en heb ik nog aan aardig wat knopjes zitten draaien om e.e.a. weer vlot te trekken. Kort samengevat komt het neer op:

• flink ophogen aantal open files in linux. Geen idee waarom dit anno 2022 standaard nog zo laag staat. Van 1024 naar 65535
• flink ophogen aantal sidekiq threads, tot boven de 1000, van de standaard 5 ;)
• flink ophogen aantal postgres database connecties, uiteindelijk bleek 1280 concurrent connections nog te passen binnen de hoeveelheid beschikbare werkgeheugen. Standaard stond dit nog op 100.

Als je server werkelijk overloopt en er meerdere resources op zijn, dan is het nog aardig lastig om de logs te volgen en juist te interpreteren. Maar uiteindelijk is de omgeving stap voor stap weer bijgekomen. Nice, ik ben tevreden met het resultaat.