Первый рукописный блог рунета™

Движок двинаньюса написан на не самом быстром языке и работает на не самой быстрой БД – тем не менее показывает прекрасную производительность. Это при том что каждая страница содержит динамические подборки, выбираемые по тегам и “радиусу” на оси времени.

Производительность достигается за счёт того, что страницы двинаньюса собраны из блоков и кэшируются не страницы целиком, а отдельные блоки. То-есть подавляющее большинство страниц при сборке даже если и требуют обращения к БД, то буквально единственного. Остальные блоки берутся из кэша.

Кэш – в оперативной памяти, полностью синхронный. Используется просто очень большой javascript-объект, hash table. Главные ключи формируются из параметра вызова шаблонизатора блока.

Получается, что каждый экземпляр приложения (при многопоточной реализации) имеет свой полный экземпляр кэша. Это неэкономно, на первый взгляд, с точки зрения использования RAM. Тем не менее, при моих прикидках у меня получалось, что мне никогда не нужно будет больше гигабайта памяти на ядро процессора – и Амазон EC2 прекрасно подошел.

Главная фича – как блоки инвалидировать, как кэшу узнать, что блок пора пересчитать при следующем запросе.

Для этого помимо главной хэш-таблицы сформированы ещё несколько индексов из указателей. Они содержат группировки блоков по разным признакам, в частности по тегам и по временнЫм диапазонам. Помещение блока в кэш автоматически помещает его во все связанные таблицы. Как только наступает соответствующий признак, инвалидируется вся таблица.

В какие именно таблицы указателей помещать, решает конкретный шаблонизатор – на основании параметров, с которыми он был вызван. Например, если мы запросили вывод списка заголовков по теме Культура, только с картинками – результат будет положен и в таблицу тега “Культура”, и в таблицу признака “С картинками”, и в таблицу блоков, отрендерённых шаблонизатором “Список заголовков”. Это называется “полностью ассоциативный кэш”.

Теперь надо узнать, когда эти таблицы инвалидировать.

CouchDB имеет интерфейс, уведомляющий подключеного клиента о появлении или обновлении документа в той или иной БД. По такому уведомлению новый док загружается и кэшируется в RAM, а все блоки, на которые он мог бы повлиять, отмечаются как устаревшие. Это очень быстрая операция, потому что итератор просто обходит все объекты по нужным хэш-таблицам и сбрасывает признак готовности.

Физически объекты из памяти не удаляются – потому что они скорее всего будут вскоре заново сгенерированы и поверх переписаны, это раз. И потому, что удаление, скажем, 50К объектов (например, мы обновили какой-то часто используемый шаблонизатор) вызовет stall на время сборки мусора.

При таком подходе кэш неизбежно засоряется всякими остатками, которые никогда не освободят память, если ничего не предпринимать.

В однопроцессорной системе можно удалять по ttl, причём это вполне можно делать асинхронно. Но так как у нас система многопоточная (несколько одинаковых экземпляров js-процесса, по которым раскидываются запросы), гораздо проще по минимуму нагрузки эти потоки по очереди рестартовать – так и сделано.

С помощью этой же механики происходит рестарт потока при падении – оно очень живучее.

Со старта обслужено примерно 1.5М запросов к серверу, даже не чихнуло ничего.

Вообще, удивляет диспропорция наград и общественного признания между Тимом Бернерсом-Ли и Брендоном Айком.

В появлении того интернета, что мы видим сейчас, роль Айка ничуть не меньше – он придумал javascript. И именно javascript превратил интернет в медиа и дал возможность соцсетям стать столь популярными – потому что сделал статичные страницы интерактивными приложениями.

Теперь связка js+браузер+WebGL становится платформой для игр. РПГ причём, реального времени – потому что стало хватать производительности. Пока это всё продукты кросс-компиляции с C++ в js – потому что бОльшая часть игр написана на C++ – но это не навсегда.

Это очень круто. И это огромнейший рынок. И это полностью контролируемый способ доставки приложения. И аппаратно-независимый.

Мечта короче для игровой индустрии. В этой связи прогнозирую оч серьёзный рост процента игр, отрелизенных для веба в ближайшие год-два-три.

Догоняющей на этом рынке будет, как обычно, Microsoft – IE не поддерживает WebGL, равно как и движок js в IE оч медленный.

$.my вместе с новым валидатором в полный рост реализует концепцию MVVM. Декларативное связывание реализовано даже круче чем в WPF где-то – контролы в UI “сидят” прямо на том-же объекте, что передан как данные и риалтайм его мутируют.

Обратное тоже верно – окружение формы может поменять данные под формой обычным яваскриптовым синтаксисом, сказать форме перерисоваться – и она перерисуется, отразив данные.

var data = {name:””, sex:””}; $(“#someform”).my(manifest, data); //init
data.name=”John”; $(“#someform”).my(“redraw”); // update

Соответственно, для всего остального кода значение объекта data будет меняться по мере изменения контролов.

MVVM как концепт, конечно, не без подводных камней. Вот сам Госсман, чувак который ввёл понятие MVVM пишет о некоторых “прелестях” MVVM в WPF. http://blogs.msdn.com/b/johngossman/archive/2006/03/04/543695.aspx

Оно, конечно, прожорливо, особенно если сохраняет undo-историю или подвязано к зеркальным контролам с частыми изменениями (слайдеры к примеру). Я это всё пронаблюдал, когда баловался с InfoPath и Silverlight.

jQuery.my, в отличие от WPF, для решения этой проблемы вводит дополнительный опциональный параметр связи между контролом и данными под ним – delay. И этот механизм подавляет на указанный период одинаковые события – байнд выполнится только по прошествии delay миллисекунд с последнего вызова. Если за это время был ещё вызов таймер сбросится и отсчёт начнётся снова.

Аккуратное регулирование этого параметра приводит к куче интерфейсных последствий. Вот пример http://jquerymy.com/s/delay078.html

Замечу, что код этого примера, манифест который всё рисует (включая html), содержательно занимает 9 строк.

{ params:{delay:3},	
  init:[
    {row:"550px", label:"150px", rowCss:"my-row pt8 pb8"}, 
    '<h3>Зеркально-зависимые контролы, 0.7.8</h3>',
    ["3 мс", "num#num", "sli#sli.w330.ml20"],
    ["100 мс", "num#num2", "sli#sli2.w330.ml20"]
  ],
  ui: {
    "#num":  {bind:"num",  watch:"#sli",  check:/^(100|\d{1,2})$/},
    "#sli":  {bind:"num",  watch:"#num"},
    "#num2": {bind:"num2", watch:"#sli2", delay:100, check:/^(100|\d{1,2})$/},
    "#sli2": {bind:"num2", watch:"#num2", delay:100}
}}

MVVM вопщем. InfoPath в браузере. Только там манифест, модель и схема данных раздельно жили, а у меня это единая конструкция.

Больше для себя, зафиксировать, предыстория здесь и здесь.

Прочитал первые четыре главы http://hottheory.files.wordpress.com/2013/03/hott-a4.pdf.  Первые две главы прочитал уже на два раза. Страниц там 475, а не 600.

Дальше много про математику, довольно нудно. В конце вывод о классах программ, для которых можно строго доказать вычислимость.

У меня впервые выплыла серьёзная задачка, в решении которой я применил понятие из сабжа – этот факт стоит зафиксировать. Раньше всякие там красивые понятия типа y-combinator или теорема Банаха были просто такими интересными зверьками. Ну, дожили вот )

Неподвижная точка функции это например вот что. Если взять калькулятор, набрать на нём какое-то число и много раз подряд нажимать на кнопку cos, в какой-то момент число меняться перестанет (либо начнёт колебаться на 1 в последнем разряде из-за округления).

Вот это число и будет неподвижной точкой той конкретной реализации взятия косинуса в вашем калькуляторе.

Редкий случай, когда я не знаю, как оно называется в мире ООП. Мож кто подскажет?

Функция SomeNewClass – конструктор, скажем, переданный откуда-то со стороны. Объект syslib содержит какие-то системные методы.

Скажем, нам надо, не важно для каких целей, ограничить видимость объекта syslib из экземпляра SomeNewClass несколькими безопасными методами. Это делается вот так:

var syslib = {
	loadSafe: function() {/*some code*/},
	loadUnsafe: function() {/*some code*/},
	save: function() {/*some code*/},
	purge: function() {/*some code*/}
};

var SomeNewClass = function (syslib) {
	return {
		doSomething: function() {/*some code with syslib calls*/},
		doAnything: function() {/*some code with syslib calls*/}	
	}
}

var item = SomeNewClass ({
	loadSafe: syslib.loadSafe, 
	save: syslib.save
});

В результате методы объекта item будут видеть только два безопасных метода библиотеки syslib. Как это называется?

Блин, лёг спать в 3, хотел выспаться – я давно раньше 5 не ложился. Так нет, проснулся в 5 и спать не хочется. Поэтому вот запощу ещё один сайтег наш, Архангельская типография akcent29.ru:

Работает это всё на jQuery.my каэш ну и ещё два моих плагина используется в открытом доступе не опубликованных. Немного подёргивается интерфейс, это доведём ещё.

Сайт эксплуатирует схему как в предыдущем примере. Поверх простой CMS обитает несколько плагинов и манифестов к ним, они и оживляют статический html. И так же, как и предыдущий пример, этот сайт сделан почти без моего прямого участия – нарисовал всё @demi4ev, заимплементил @carpogoryanin, а провёл сделку супермонстр менеджер-машина-смерти drovnin@insta.

Калькуляторы на мой вкус сложноваты, но тут я сам виноват – техцепочка изготовления калькуляторов этих оказалась недостаточно гибкой. Была недостаточно гибкой )

Попробуем в Акценте попечататься сами, если понравится, расскажу. Хозяйка оч понравилась – ответственная, не халявник у неё как обычно в типографиях. И на стене висят дипломы тех же дизконкурсов, что и меня есть )

Мне тут понадобилась простая хэш-функция с хорошим распределением и кратно более шустрая, чем md5, который я обычно использовал.

Найдено в BerkeleyDB, называется sdbm. Быстрее самых быстрых md5 реализаций для js в 8 примерно раз. На вход принимает не только строки, но и объекты-массивы там – чуток подправлено для js.

function sdbmCode(s0){
 for (var s=JSON.stringify(s0),hash=0,i=0;i<s.length;i++) hash=s.charCodeAt(i)+(hash<<6)+(hash<<16)-hash;
 return (1e11+hash).toString(36);
}

UPD. Даёт довольно много коллизий. 6 коллизий на словаре английских слов 213000 уникальных вхождений.