Образование и теорема Байеса

[ermouth]

Тут опять в камментах к посту service_picky пролетела мысль, которую у меня возникло желание развернуть. Сервис-пики утверждает, что у каждого есть возможность создать бизнес нацмасштаба.

Я вот так не считаю. Я бы сказал, что каждый может с ненулевой вероятностью создать такой бизнес, но для большинства вероятность таки приближается к нулю и делает попытку создать такой бизнес неинтересной. И вот почему.

Я полагаю, что к появлению предпринимателя определённого масштаба приводит довольно большой, но всё же ограниченный набор причин. Сложно предположить слёту, что это за причины, каково их взаимовлияние и какие у них “веса” в общем результате. Тем не менее, я верю в причинность в физическом смысле – и уверен, что набор факторов можно определить.

Есть такая замечательная теорема Байеса, которая в наше время используется настолько повсеместно, что даже лень об этом писать подробно. Скажем, все эффективные спаморезки используют эту теорему. Если говорить грубо, теорема Байеса позволяет по уже имеющемуся событию посчитать вероятности причин, которые к нему привели.

Было бы забавно провести глобальный эксперимент – мониторить централизовано школьников по большому набору параметров. Начиная от оценок их самих и их окружения (ровесников) и заканчивая успехами их родителей на работе. Книжки, что читают эти школьники; сайты, куда они ходят; фильмы, что они смотрят; статистики районов, где они живут; цены на еду, что они едят и т.д.

А потом, скажем к 25-30 годам, оценить, что получилось и построить байесову сеть, которая позволит следующим поколениям школьников получать всё более точные рекомендации по поводу выбора своего будущего.

То-есть, это как-бы проверка алгеброй божьего промысла.

Идея, в общем, не нова – и её легко довести до абсурда (у Азимова есть рассказик “Профессия”, тамошняя система раздачи профессий – наверняка байесова сеть). Тем не менее, мне было б чрезвычайно любопытно посмотреть, что же приводит к появлению бизнесов нацмасштаба.

Вообще, кто-нибудь слышал про применение сетей Байеса в оценке перспектив в образовании? А?

Comments

[verreteno.livejournal.com]

я и слово это – Байес – только что узнала. но про мониторинг человеков – откуда что выросло – уже несколько лет ожесточённо думаю.
но мне всё-таки кажется, что процент Случая и/или срабатывания зверской интуиции просчитать очень трудно, а их влияние трудно отрицать.
что касается нацбизнесов - то я совершенно не согласна с тем, что все на это способны. меньшинтсво могут хотя бы школу окончить из собственных побуждений, а не потому что родители сказали. во взрослой жизни процент самомотивированных людей увеличивается, но не слишком значительно.

[ermouth.livejournal.com]

мониторинг есть и сейчас -- та же история оценок школьных (как ученика, кстати, так и учителя -- это важно).

одних оценок для вычисления "предназначения" конечно мало. но байесовы сети тем и хороши, что дают вероятностные прогнозы при неполноте вводных. просто сейчас этого не делается -- а вполне можно было б уже.

мне кажется почему то, что даже по одним оценкам и тому, что из них выросло, уже можно делать точные (с точно рассчитанной вероятностью в смысле) качественные выводы.

[tvguide-khv.livejournal.com]

не думаю что эта статистика будет работать на новом поколении они будут уже совсем в другой реальности существовать.

[ermouth.livejournal.com]

байесовы фильтры успешно справляются со спамом "нового поколения" как раз потому, что способны уточнять предсказания в изменяющихся реалиях.

фишка в том, что это не будет совсем другой реальностью. не на марсе же они родятся, эти будущие поколения. и не на клингонском будут говорить.

так что аргумент слабый, сорри )

[nikolaswheatten.livejournal.com]

Дима, а весовые коэффициенты параметров там как реализуются? И откуда ты возмёшь верные? Особенно в плане того, что каждый индивид имеет уникальную психику и для кого-то решающим станет раен, а для кого-то - Бах?

[ermouth.livejournal.com]

байесова сеть автокорректирует веса сопоставляя априоную и апостериорную вероятности итеративно. тем и интересна.

[ermouth.livejournal.com]

про раён, Баха и уникальную психику.

конечно, уникальность имеет место быть -- но различия в подавляющей массе не больше, чем, скажем, между нетбуком с Вин 7 и сервером с Вин 2000. Вроде, пропасть между ними -- но всё же очень много общего. И сделать байесову сеть, которая будет их (нетбуки от серверов) чётко друг от друга различать по весьма неполным входным данным очень просто. И не из-за того, что они разные -- а из-за того, что они во многом одинаковые.

раён и Бах -- тут чуть посложнее. имеющиеся решения для обнаружения сетевых атак, построенные на байесовых сетях, не дают нам чёткого знания, какой конкретно сетевой пакет уложит систему в deny of service -- зато чётко дают понять, что атака развивается и просто имеет место быть. понимаешь, о чём я?

[craichik.livejournal.com]

если уж заморачиваться над этим, то понадобится как минимум 3-4 поколения испытуемых. так как в определенном смысле каждый человек выстраивает себе иллюзию выбора, и принимает некоторые решения именно в данный момент времени, а не в процессе каких-то длительных размышлений. и анализировать подобную информацию, а тем более как-то структурировать, без достаточного исходного материала - сложно.
вот когда несколько поколений пройдет через эту "систему", тогда и можно будет о чем-то говорить. в противном случае процент погрешности слишком велик, и всё рискует превратиться как раз в абсурд Азимова с господинами Плейтонами

[skegg.livejournal.com]

А ты построй маленькую модельку такую. О биографии миллионеров кое-что известно. Правда пиздят они о своем прошлом много, боюсь.

[ermouth.livejournal.com]

фильтр байеса -- не одноступенчатый. ему нужно обучение -- поэтому надо накапливать статистику. просто биографий мало.

упрощенно там механика такая. в какой-то момент сеть даёт прогноз событий с определённой вероятностью. дальше события сбываются или не сбываются -- эта информация снова попадает в сеть и она учится.

в нашем случае это могло бы выглядеть так. сеть, накопив какую-то статистику, скажем, по оценкам группы школьников за несколько лет, даёт по группе выпускников прогноз, кто на какую специальность пойдёт учится. оцнека по каждому выглядит, например, так: Вася (Юрист -- 10%, Строитель 5%, Программист 40% итд); Петя (Юрист 30%, Строитель 30%, Программист 1% итд).

потом ей скармливают, кто куда в самом деле пошёл учиться -- и следующий выпуск она уже предскажет точнее. и так -- итерациями.

без итераций сети байеса -- это почти подбрасывание монетки.

[service-picky.livejournal.com]

я с алгеброй хоть и не очень дружен, но имхо "количество состояний системы" слишком велико, чтобы можно было описать это и на этапе измерений, и на этапе выводов )) С другой

[ermouth.livejournal.com]

тебя гугловский антиспам устраивает? это сеть байеса. алгоритмы оценки релевантности выдачи гугла тоже во многом сеть байеса.

нормально всё с количеством состояний ))) вопрос постоянного сбора большого массива статистики.

[service-picky.livejournal.com]

имхо "количество состояний системы" слишком велико, чтобы можно было описать это и на этапе измерений, и на этапе выводов ))

а чтобы не заморачиваться, вот тебе классический пример: ты менеджер футбольной команды, перед тобой анкеты двух молодых неизвестных игроков, тебе надо выбрать. 1-й: высокий, мощный, бьет с двух ног, блестяще играет головой, отличная скорость. 2-й: маленький, толстенький, бьет только с левой, на втором этаже бесполезен. При прочих равных выбор очевиден. Но второй потом оказался Марадоной.

не измерить людей алгеброй )) весь кайф в неожиданностях

[ermouth.livejournal.com]

блин, ты сводишь задачу к одноступенчатой оценке. фильтр байеса учится на каждой итерации.

измерить людей алгеброй, просто результаты будут не точные, а вероятностные.

[service-picky.livejournal.com]

дискуссия у нас получается на тему "есть ли жизнь на марсе" ))
я за тех, кто невзирая на сильно неблагоприятные вероятностные прогнозы, говорит "а мне пох, всех убью один останусь" и прет к мечте ))

[ermouth.livejournal.com]

ну так я тоже за них -- только таких много, и многие из них, подавляющее просто большинство, обламываются. прут -- и обламываются. встают, прут -- и обламываются. вот я и пытаюсь прикинуть способ, как выделить те, кто НЕ обламывается.

раньше мне не приходила в голову мысль наложить на это сеть байеса, пороюсь по .edu, наверняка ченить такое на крысах или лягушках уже постановили )

[802-11.livejournal.com]

упрощенно там механика такая. в какой-то момент сеть даёт прогноз событий с определённой вероятностью. дальше события сбываются или не сбываются -- эта информация снова попадает в сеть и она учится.

в нашем случае это могло бы выглядеть так. сеть, накопив какую-то статистику, скажем, по оценкам группы школьников за несколько лет, даёт по группе выпускников прогноз, кто на какую специальность пойдёт учится. оцнека по каждому выглядит, например, так: Вася (Юрист -- 10%, Строитель 5%, Программист 40% итд); Петя (Юрист 30%, Строитель 30%, Программист 1% итд).

потом ей скармливают, кто куда в самом деле пошёл учиться -- и следующий выпуск она уже предскажет точнее. и так -- итерациями.

ты уже сейчас можешь снимать статистику с 15-летних людей и скармливать её алгоритму. чем дальше с развитием сети, тем всё более полная информация будет о людях в социальных сетях. что они читают, что они слушают, куда ходят и даже что думают.
на уровне обывателя это неэтично, противоречит поправке о тайне личности(которую все нарушают, и люди сами в первую очередь), но ты, похоже, думаешь на государственном уровне, там этика размывается и рождает чудовищ. если их можно будет отслеживать, значит, их возьмут под контроль. как по мне, лучше позаботиться о том, чтобы создать препятствия для этого механизма. не хочется жить в дивном новом мире.

p.s. спасибо за рассказ, я его вспоминала недавно.