⛓ Снятие лимитов в популярной golos/steem JS библиотеке на примере фан-карты Mapala

vik

в голос

Голос стал песочницей для множества начинающих разработчиков и просто любителей.
Блокчейн с открытым кодом + дружное сообщество - все это делает голос отличной площадкой для приобретения и прокачки разных навыков взаимодействия с трендовыми технологиями.

В этом посте я приведу пример, который поможет снять некоторые "мнимые" ограничения в API golos/steem
Надеюсь это поможет всем, кому нравится созидать что-то на блокчейне голоса.

Речь пойдет о steem-js она же golos-js и других форках.
Как минимум мы сможем выйти за рамки лимита в 100 постов в API для вызова getDiscussions

Мне это понадобилось в процессе разработки телеграм-бота и фан-карты для mapala.
На карту выводятся все существующие посты с MAPALA в которых есть географические координаты:

Посмотреть вживую можно тут https://chain.cf/mapala - это тестовый пример и весь скрипт выполняется в браузере,посты грузятся достаточно долго. Но при использовании рендера не сервере - это дело нескольких секунд. Я не зря назвал это фан-картой - так как акцентирую, что я не состою в команде разработчиков. То что делаю, это не коммерческие продукты, это скорее просто хобби.

В телеграм боте мне так же понадобилась возможность выводить все посты без ограничений в 100, при этом давая возможность прочесть контент и посмотреть фото прямо в боте.

Над этими и еще над с 10-к проектов идет работа, многое не получается успеть просто физически, а большая часть времени уходит на изучение API и ответы пользователям в тг, надеюсь и буду рад, если мои наработки и потраченное время сэкономят ресурсы таким же энтузиастам :)

Приступим!

Нам вместе с библиотеками golos-js/steem-js поставляется неполная инструкция к вызовам вида:

Get Discussions By Created

golos.api.getDiscussionsByCreated(query, function(err, result) {
  console.log(err, result);
});

Здесь и далее будем рассматривать этот API вызов в качестве подопытного.

Вызов getDiscussionsByCreated - возвращает нам список постов сортированных по дате создания, а query это конкретный запрос диктующий, что именно возвращать. Проблема в том, что на официальной странице либы нет описания того, что нужно вставлять в query и начинающий разработчик-любитель полезет в документацию и увидит что в query должен быть тег и лимит {"tag":"mapala","limit":100}

Скрин со страницы документации https://developers.golos.io/doc/client#discussions

Кроме официальной документации это так же указано в API explorer

Более того, если мы хотим вывести список постов в количестве большем чем 100, то мы получим ошибку.
Например если мой query будет {"select_tags":["mapala"],"limit":101}, то я не получу 101 пост, а получу ошибку

Представьте, что нам нужно выводить подгружаемую ленту постов, эдакий infinity scroll на странице.

Для этого делаем запрос с пустым тегом (это выведет все посты,независимо от тегов):

get_discussions_by_created({"select_tags":["mapala"],"limit":100})

В качестве ответа мы получили максимум 100 постов и плюс ко всему, в этих 100 постах у нас 80 от bm, которые мы скроем, в остатке останется каких-то 20 постов с голоса без возможности подгрузить более ранние...

Долгое время я верил этому искусственному лимиту и он меня порядком раздражал.
Но как оказывается, проблема не в лимитах, а в неполной и недостаточной документации для вызовов.

Поражает, что есть полно не задокументированных возможностей!

картинку украл в комментах у Дена Ларимера :)

Вглянем еще раз на скрин ошибки

Сообщение о лимите api нам показывает файл database_api.hpp. Так как мы работаем с открытом кодом (и это замечательно!) мы можем найти содержимое этого файла в исходниках голоса.
hpp - это расширение для языка C++, идем в репозиторий голоса на github и находим там исходники на C++

Вышеупомянутый файл можно найти по пути /golos/libraries/app/database_api.cpp

Ищем запрос _created и находим его на строке 1467
https://github.com/GolosChain/golos/blob/master/libraries/app/database_api.cpp#L1467

Я не стану приводить весь код, он достаточно объемный, нам нужно изучить строки с 1467 по 1520, что бы узнать, что лимит в js плагинах был искусственный.

Какое на самом деле доступно и может быть query для getDiscussionsByCreated

Кроме всюду упомянутых tag и лимит нам так же доступно вот что:

select_authors
Мы можем указать список авторов

select_tags
Мы можем указать сет тегов, а не только один!

filter_tags
Мы можем убрать из выдачи ненужные теги, например bm-open!

truncate_body
Мы можем сократить контент до короткого описания - например для вывода карточек постов с кратким описанием.

parent_author
Автор-родитель - будут выводится все ответы автору!

parent_permlink
Родительская ссылка - все ответы к определенному посту

start_author и start_permlink
А вот эти 2 параметра помогут сделать offset (отступ) для постов! Это именно то, что мне нужно было - возможность сделать отступ и загружать последовательно все посты на голосе забыв про лимит в 100 постов! Как именно это сделать я напишу ниже.

Бесконечный скролл всех постов голоса

Немного усложним задачу и выведем все посты с mapala в которых есть координаты местности (в клиенте мапала при размещении поста можно указать широту и долготу местности)

Создаем promise и загружаем в posts первые 100 постов с тегом mapala

const POSTCOUNT = 0
const item = []
const LATEST_POSTS = new Promise((resolve, reject) => {
golos.api.getDiscussionsByCreated({"select_tags":["mapala"],"limit":100},(err, posts) => {
    if (err) {
            reject(err)
        }
        else {
            resolve(posts)
        }
})
})

Передаем posts в следующую функцию, где задаем пустой массив nextset

const POSTS_FILTER = (posts) => {
let nextset = {
        start_permlink:'',
        start_author:''
    }

Укажем количество постов которые получили в ответе

let len = posts.length

Создадим цикл для каждого полученного поста

for (let post of posts) {

В переменную meta будем сохранять json_metadata для каждого раунда цикла

        let meta = JSON.parse(post.json_metadata)

Теперь создадим условие, с помощью которого будем обрабатывать только те посты, в которых указаны координаты местности

        if(typeof meta.coordinates !=="undefined" && meta.coordinates.length > 10 ){

Внутри условия мы создадим массив в который будем толкать различные данные постов

item.push({
                author:post.author,
                parent:post.parent_permlink,
                title:post.title,
                body:post.body.replace(/<\/?[^>]+(>|$)/g, ""),
                image:(typeof meta.image === 'undefined')?'/logo.png':meta.image[0],
                payout:post.total_pending_payout_value,
                url:'https://golos.io'+post.url,
                meta:meta,
                time:post.created,
                geo:meta.coordinates
            });

И после, когда мы будем на этапе обработки последнего поста в цикле мы заполним массив nextset автором и ссылкой на последний пост

if(i == len - 1){
            nextset.start_permlink = post.permlink;
            nextset.start_author = post.author;
            NEXT_POSTS(nextset)
        }

Это именно та уловка с помощью которой мы получаем возможность получить следующие 100 постов!

Сначала мы получили 100 первых постов, отфильтровали их по вкусу и данным, запомнили автора и ссылку на последний пост и теперь можем вызвать серию из 100 следующих постов задав полученные автора и ссылку как старт.

Вот так:

const NEXT_POSTS = (nextset) => {
golos.api.getDiscussionsByCreated({
"start_permlink":nextset.start_permlink,
"start_author":nextset.start_author,
"select_tags":["mapala"],"limit":100}

Полученные следующие 100 постов обрабатываем так же как и в предыдущем примере, затем снова сохраняем последнего автора и ссылку и с этим данными снова рекурсивно вызываем функцию NEXT_POSTS

nextset.start_permlink = post.permlink;
            nextset.start_author = post.author;
            if(len > 1){
                NEXT_POSTS(nextset)
                }

Условие if(len > 1) помогает нам перестать вызывать функцию если мы уже получили абсолютно все посты.

Код полностью выглядит так

Вместо PS и вместо отчета делегата.

Народ требует отчетов, но мне просто иногда жаль засирать незыблемость блокчейна очередным отчетом, потому буду краток :)

Хочу напомнить, что вчера вместе с @ropox и @everythink мы запустили @dobrobot - бота который делает добро за ваш счет :) Вы пополняете добробота, а он раздает ваши монеты тем, за кого вы голосуете. Легкий способ почувствовать себя одаривающим китом :)
💱Подробнее

Так же напомню, что моя собственная инициатива @robot так же активно работает и делает добро, но уже за мой счет :) Не забывайте рекомендовать авторов, которым @robot будет оказывать финансовую поддержку.
🎁Подробнее

Кроме этого я принял участие в 10-ке разных ICO в т.ч. #mapala - ребята делают большую работу и скоро она будет показана публике, а сейчас есть возможность приобрести их токены по минимально возможной цене. Можно с уверенностью сказать, что у них все только начинается.

Про golos.io я так же не забыл, это можно видеть из финансовой статистики @arcange

Я в 10-ке пользователей больше всех инвестировавших в силу голоса. (Про голос я узнал только в январе, потому в ICO не участвовал)
К слову - из голоса я еще ни разу не выводил какие-либо средства :)

Из печального...

1. Это, как ни странно то, что я в вышеупомянутой 10-ке... Мне казалось что передо мной будет гораздо больше пользователей. Хотелось бы быть со своими копейками в хвосте.

2. Вторая печаль - это внезапный отказ достаточно дорогого сервера на котором была нода и десяток телеграм ботов которыми активно пользуется народ.

После чего я сразу поднял резервную ноду в другом датацентре - работа была восстановлена в кратчайшие сроки.

На связи

Я почти всегда доступен для обратной связи, признаться на это уходит очень много времени, так как стараюсь отвечать всем.

https://t.me/chain_cf - чат посвященный @robot и тг ботам для голоса
https://t.me/vikxx - личные сообщения
https://chat.golos.io/direct/vik - личные сообщения
https://discord.gg/k6TMZx6 - чат буржуйский.