🚀 [Кеширование API golos] Запуск множества многопоточных живых скриптов на одной ноде - решение для маштабируемости ботов голоса

Суть решаемой проблемы:

Решение:

В конце поста будет приведен простой код для node.js который позволит оптимизировать работу множества скриптов на одной ноде.

Активным пользователям моих ботов:
Просьба протестировать нового бота https://t.me/autoupvotebot - если ошибок найдено не будет, на эту версию будут переведены все боты , что обеспечит стабильную и комфортную для вас работу.

Update:
Уже обновлены:
https://t.me/golosrobot
https://t.me/hottabot

https://t.me/mapvotebot (бот в числе прочего голосующий за посты размещенные с клиента мапалы)

Для обновления введите в ботах команду /menu - вы увидите переименованную кнопку "Запуск" - нажимайте ее, это возобновит работу.

Некоторые боты будут переведены на новую версию уже сейчас.

В последнее время моими телеграм ботами для голосования пользуются все больше людей и естественно нагрузка возрасла в 10-ки раз по сравнению даже с прошлым месяцем. Я поднял дополнительные ноды, распределил нагрузки, добавил мощности серверам, но узкое место оказалось в самой пропускной способности нод.

Обратите внимание на скрин, там изредка мелькают строки белого цвета. Это череда новых блоков. Желтые же строки - это обращение к ноде.

Сейчас на сервере работают примерно 10 ботов, в каждом примерно 20 пользователей, это 200 практически одновременных запросов каждые 3 секунды 24/7. Такую нагрузку нода очень часто не выдерживает и боты пропускают транзакции или становятся на вынужденную паузу, а пользователи сердятся на несовершенство скриптов :)

Так как каждый пользователь бота "опрашивает" новые блоки с интервалом в 3 секунды, то сделать работу комфортной можно либо устанавливая по ноде на каждых 20-30 человек, что экономически абсурдно, либо пересмотреть принципы работы с опрашиванием блоков.

Решение я выбрал такое:

Вместо сотен отдельных сессий пользователей работает только один ОТДЕЛЬНЫЙ скрипт который опрашивает блоки. И сохраняет данные блока в базу данных Redis, все это происходит за доли миллисикунд, так как redis при правильной настройке не просто база, а мощный кеширующий инструмент.
Далее, каждый из пользователей бота обращается не к ноде, а уже к redis, что бы получить данные блока с операциями блокчейна. Таким образом, нагрузка должна упасть в 10-ки, а то и больше раз.

Разработчикам и владельцам нод

Суть метода простая, на сервере работает javascript который с интервалом в 3 секунды обновляет в базе данных содержимое свежего блока на golos.io
Далее вместо того, что бы подключаться всеми своими скриптами одновременно к одной ноде, вы берете данные о блоках из базы данных, а нода работает с минимальной нагрузкой, словно ее использует лишь один скрипт.

Вы можете использовать любую базу данных, как-то mongo, mysql, rethink и другие, для себя же я выбрал именно redis, для меня она проверенный инструмент способный держать нагрузку во время кэширования большого объема данных.

Весь код для постоянного сохранения текущего блока в redis уместился в несколько десятков строк

require('events').EventEmitter.prototype._maxListeners = 100000
const Promise = require("bluebird")
const _ = require('lodash')
const golos = require("golos-js")
const redis = require("redis")
const client = redis.createClient()
golos.config.set('websocket','ws://localhost:9090')
let trig = {existBlock:true}
const dynamicSnap = new Promise((resolve, reject) => {
    golos.api.getDynamicGlobalProperties((err, res) => {
        if (err) {console.log(err)}
        else {
            resolve(res)
        }
    })
})
const FIRSTBLOCK = n => n.head_block_number
const SENDBLOCK = currentblock => {
    golos.api.getBlock(currentblock, (err, result) => {
        if (err) {
            console.log(err) 
            }   else if (result === null){
                trig.existBlock = false
                }else {
        let JSONblock = JSON.stringify(result)
        client.hmset("GolosLastBlock", "data",JSONblock);
        console.log(JSONblock)
        trig.existBlock = true
            }
    })
}
const NEXTBLOCKS = firstblock => {
    let currentblock = firstblock
    setInterval(() => {
if(trig.existBlock){
currentblock++
}else{
console.warn(`Проблема блока ${currentblock}`)}
SENDBLOCK(currentblock)
}, 3000)
}
dynamicSnap
    .then(FIRSTBLOCK)
    .then(NEXTBLOCKS)
    .catch(e => console.log(e));
    
    

Далее вам достаточно брать данные блока из базы redis

client.hgetall("GolosLastBlock", function(err, LB) {
let LastBlockRedis = JSON.parse(LB.data)
            filterOperations(LastBlockRedis)
}

Где предполагается, что функция filterOperations обрабатывается вашим скриптом.