Про неверные обобщения

[ermouth]

Есть такая изумительная и активно цитируемая работа о шестикласснике Бенни, который вывел собственный набор правил для прохождения школьных тестов по простым дробям. Любопытно, что Бенни демонстрировал прекраснейшие результаты, наглухо не понимая, что такое дроби.

http://www.wou.edu/~girodm/library/benny.pdf

Что особенно любопытно, правила Бенни более-менее чёткие, хотя выглядят они дико. Ещё более любопытно, что если выкинуть подлежащую математическую абстракцию, его схема манипулирования символической системой из чисел, точек и горизонтальных линий ничем не хуже любой другой, дающей на такой же выборке аналогичную плотность правильных ответов.

Китайская комната, во всей красе.

Бенни описывает свои ощущения от тестов как wild goose chase, на русский я бы это перевёл как “бесполезная движуха”. То-есть это такая игра, в которой основной результат вовсе не понимание, а проходной балл. Иными словами, основной стимул – как можно быстрее дать правильный ответ.

Забавно, что даже изучения корректных школьных правил операций с дробями вполне соответствует этому описанию. Простые дроби как понятие настолько шире того, что изучается в школе, что я до сих пор не могу сказать, что понимаю их роль в окружающей реальности с устраивающей меня полнотой. Восприятие дробей как просто способа записи рациональных чисел вообще невыносимо куцее.

Набрёл я на этот пример с правилами Бенни в рамках диалога и размышлений о подходах работы абстрактного генератора программ по нечёткому заданию.

Затрудняюсь точно описать выводы. Как минимум, теперь я уверен, что подход, связанный с “охотой” на решение, выражаемое в рамках замкнутой символической системы, не очень то уместен как генерализованный для нейросетей.

Несмотря на такую “не совсем подходящесть”, люди этот способ применяют повсеместно – и весьма в целом успешно. И я никак не могу придумать хотя бы намёк на метод, позволяющий отделять задачи, к которым можно с приемлемой вероятностью получить ответ таким способом, от задач, к которым этот способ неприменим совсем.

Понятно, что способ начинает давать ложные результаты при расширении выборки – но мы склонны патчить имеющиеся правила (как Бенни), а не искать более общую закономерность.

Ну и related video вот, Алан Кей рассказывает про важность простоты. Там в начале хороший пример в тему – про Птолемееву систему мироустройства.

Comments

[ermouth.livejournal.com]

> путём нахождения нужной формулы или комбинации из нескольких

Интересно. У меня тоже была такая знакомая, только в старших классах о_О

Кстати, я отчётливо помню, как ты когда-то написал, что изучал Спектрум методом научного тыка ) Я тоже так делал, но больше когда паял всякие схемки аналоговые. Не уверен, что это плохо – если, конечно, в результате таки образуется понимание.

[archaicos.livejournal.com]

К счастью, там нельзя было ввести строку кода, который бы не смог интерпретироваться из-за каких-нибудь синтаксически-грамматических ошибок, а использование неопределённых переменных вызывало ошибку. Поэтому экспериментирование не было слишком болезненным.

Вот с сями всё хуже. Народ видит, что что-то работает, и думает, что их код правильный. Ничего знать не хотят про стандарт языка. Деды же писали, и у них работало! Портяночные программы на лубочных компьютерах, скомпилированные портяночными же компиляторами. :)