Про неверные обобщения

[ermouth]

Есть такая изумительная и активно цитируемая работа о шестикласснике Бенни, который вывел собственный набор правил для прохождения школьных тестов по простым дробям. Любопытно, что Бенни демонстрировал прекраснейшие результаты, наглухо не понимая, что такое дроби.

http://www.wou.edu/~girodm/library/benny.pdf

Что особенно любопытно, правила Бенни более-менее чёткие, хотя выглядят они дико. Ещё более любопытно, что если выкинуть подлежащую математическую абстракцию, его схема манипулирования символической системой из чисел, точек и горизонтальных линий ничем не хуже любой другой, дающей на такой же выборке аналогичную плотность правильных ответов.

Китайская комната, во всей красе.

Бенни описывает свои ощущения от тестов как wild goose chase, на русский я бы это перевёл как “бесполезная движуха”. То-есть это такая игра, в которой основной результат вовсе не понимание, а проходной балл. Иными словами, основной стимул – как можно быстрее дать правильный ответ.

Забавно, что даже изучения корректных школьных правил операций с дробями вполне соответствует этому описанию. Простые дроби как понятие настолько шире того, что изучается в школе, что я до сих пор не могу сказать, что понимаю их роль в окружающей реальности с устраивающей меня полнотой. Восприятие дробей как просто способа записи рациональных чисел вообще невыносимо куцее.

Набрёл я на этот пример с правилами Бенни в рамках диалога и размышлений о подходах работы абстрактного генератора программ по нечёткому заданию.

Затрудняюсь точно описать выводы. Как минимум, теперь я уверен, что подход, связанный с “охотой” на решение, выражаемое в рамках замкнутой символической системы, не очень то уместен как генерализованный для нейросетей.

Несмотря на такую “не совсем подходящесть”, люди этот способ применяют повсеместно – и весьма в целом успешно. И я никак не могу придумать хотя бы намёк на метод, позволяющий отделять задачи, к которым можно с приемлемой вероятностью получить ответ таким способом, от задач, к которым этот способ неприменим совсем.

Понятно, что способ начинает давать ложные результаты при расширении выборки – но мы склонны патчить имеющиеся правила (как Бенни), а не искать более общую закономерность.

Ну и related video вот, Алан Кей рассказывает про важность простоты. Там в начале хороший пример в тему – про Птолемееву систему мироустройства.

Comments

[archaicos.livejournal.com]

Мне химия не была настолько интересна чтобы самому рыть или предков дёргать. Школяр спит, химия идёт.