Месяц назад мы запустили публичную бету vezdelegko.ru, сервиса бронирования экскурсий, отелей и транспорта. Сервисы бронирования – сами по себе штука сложная, это как магазин, по которому надо вести учёт ассортимента на каждый день, причём ассортимент день ото дня меняется и цены зависят от дня и количества. Причём в магазине куча отделов, и партнёры сами управляют своим ассортиментом.

Дополнительно, в нашем случае сервис делался с прицелом на очень существенную масштабируемость как по ёмкости, так и по географии. Это автоматом предполагает архитектуру из многих узлов и распределённое хранение/обработку данных с последующей их репликацией и агрегацией. Под такую схему я придумал специальную архитектуру узла, которая потребовала платформы исполнения, это и есть Couchbox.

География узлов и характер распространения данных предполагал версионированную мастер-мастер репликацию между узлами, по сложной топологии, различной для разных типов данных. Такие штуки прекрасно умеет делать моя любимая CouchDB, поэтому основной набор данных хранится в CouchDB, размазанный по всему графу узлов так, что все данные минимум дублированы.

Code follows data

Нативная CouchDB хранит в базах не только данные, но и код для predefined map/reduce запросов, по которым строятся высокоэффективные persistent индексы. Этот код, на JS или Erlang, хранится в документах рядом с данными и может распространятся между узлами в тех же потоках репликации, что и сами данные.

Couchbox, наша платформа, расширяет это всё механикой хуков, реагирующих на изменения документов в базе, и эндпоинтов – REST–концов, обрабатывающих входящие запросы через https. То-есть в те же специальные документы, где в обычной CouchDB живёт код функций индексов, для Couchbox-а можно добавить ещё и код функций хуков и внешних REST API эндпоинтов. Получается распределённая платформа приложений.

Особо примечателен факт, что с точки зрения установленного софта узлы не различаются вообще.

Весь специфический код, определяющий функциональную роль узла, приходит через БД. То-есть по мере обновления документов с кодом все обработчики по-горячему аккуратно заменяются на новые версии. Обработчики устроены примерно как амазоновские лямбды, функции без сохранения состояния, поэтому горячая замена вполне возможна.

Файлы – это очень скучно

Важный момент, как именно код функций попадает в БД.

Код лямбд вообще не существует в виде исходных файлов. Он создаётся в специализированной среде разработки, основанной на CloudWall и Ddoc Lab. Выглядит это примерно так:

То-есть, сорцы, из которых собираются лямбды, хранятся в PouchDB в браузерах разработчиков, реплицируются в CouchDB на какой-то из узлов, собираются, а затем распространяются по остальным узлам.

Деплой обновлений и скорость разработки

Такая архитектура расслаивается на три части по критерию обслуживания:

1. Убунта, CouchDB, Redis, node.js и nginx – фундамент со временем между рестартами в месяцы. Для обновления или рестарта фундамента нужен доступ к каждому узлу через терминал.
2. Couchbox – платформа приложений с временем между обновлениями сейчас в недели, скоро станет в месяцы. Разрабатывается на файловой системе в обычных IDE, для обновления на узлах нужен доступ через терминал.
3. Код приложений, очень гибкий, может обновляться и дополняться с высокой частотой. Для разработки и отладки как клиентской (UI), так и серверной части (REST API) приложений не нужно ничего, кроме браузера. Код деплоится по узлам автоматом.

Общий объём кода, написанного в браузере для этой системы, перевалил за 100К SLOC и пока всё просто прекрасно. Стартскрин бэкэнда выглядит сейчас вот так:

Я, в общем, доволен – это самая сложная штуковина, которую я когда-либо придумывал, и её получилось не просто сделать как задумано, но ещё и в плановые сроки почти уложиться. Как с самой платформой, так и с приложениями на ней.

И да, Couchbox is MIT licensed. Опенсорц наше всё.

Только что вместо страницы фленты увидел вот такое:

Повторный клик показал фленту, турникет самопочинился. Есчо, ICAP – это Internet content adaptation protocol. Цензурные турникеты по этому протоколу общаются с главной башней ПБЗ, ога.

Интересно, что турникеты, похоже, настроены самозакрываться, если связи с башней нет. Это очень хреновое решение с инженерной точки зрения.

У меня слабость к бри в коробочках. Я когда-то давно случайно обнаружил, что бри в мелкой вакумной расфасовке прекрасно идёт с пастой, помидорами и вином, а ещё лучше с фруктами – и сильно тосковал, когда такой сыр пропал с началом санкций.

Так вот, его научились делать в Армении. В смысле, сыр типа бри в такой же 125-граммовой вакуумной упаковке. Выглядит он так:

Как и тот бри, этот бри – тоже не совсем бри, да. Но очень вкусный!

Упаковка, правда, в лучших советских традициях на новый лад. Коробка склеена каким-то обычным бытовым клеем – и склеена буквально намертво. Я наловчился открывать её руками примерно на третьей-четвёртой коробке, после внимательного изучения. До этого нужен был нож.

Рвётся упаковка в одно движение – но только после того, как сдавишь её по бокам пальцами (сыр то внутри круглый) и надорвёшь боковые рёбра. Там картон поддаётся легче всего.

Дальше – такая же песня. Головка сыра обёрнута в фольгированную бумагу и упакована в пластиковую такую таблетку вакуумированную.

Так вот, таблетку тоже можно вскрыть руками, без ножа, только одним способом. Нужно по надрезу язычка разрывать одной рукой вверх, а другой – вбок. Если разрывать обеими руками в разные стороны или вверх-вниз, открыть без ножа не получится )

Удивительно, но меня этот процесс распаковки с преподвывертом совершенно не взбесил. Более того, я поймал себя на мысли, что мне это чуть ли не в кайф и напоминает распаковку новогодних подарков в детстве. Куча обёрток, а внутри что-нибудь очень вкусное.

Бри из предыдущей жизни (2009) был, что интересно, по вкусу похуже и выглядел так:

В общем, главное теперь чтобы РФ с Арменией не разругалась, считаю для себя это основным вектором российской внешней политики )

Посмотрел «Фантастические твари и где они обитают» – хорошо сделанное, динамичное и умеренно скучное кино по сценарию Джоан Роулинг (но HP-free). Промотал половину.

Обратил внимание на любопытный феномен. Обычно всякая опасная разрушительная гадость в сайфай и фэнтези фильмах – это что-то насекомоподобное, или похожее на пресмыкающееся, ну или на крайний случай просто покрытое слизью и с видимыми следами разложения.

Достижения компьютерной графики прибавили к списку новую категорию – рой.

Мне эта структура напомнила оболочку Мандельброта 8 порядка, которая выглядит так (клик – картинка на 16 мегапикселей):

Быстро движущиеся по “биологичным” плавным связанным траекториям потоки частиц вызывают просто вот подсознательную физиологическую реакцию, когда смотришь на большом экране.

Сам фильм совсем детский, но вот за Обскура – уважуха.