Познаем секреты оптимизации нейросетей

Треть своей жизни человек проводит в царстве Морфея. Обидно тратить столько времени… Ведь даже в спящем состоянии мозг продолжает активно трудиться, обрабатывая полученные знания и оптимизируя нейросеть! Остается разобраться, как использовать это дарование природы с максимальной эффективностью!
Как не отстать от прогресса

Объем знаний, который хакер вынужден держать в голове, растет лавинообразно, а возможности мозга хоть и велики, но не безграничны.

Среднестатистический мозг всячески сопротивляется попыткам впихнуть в него очередной RTFM, стремясь избавиться от ненужных ему знаний, забывая их или, в лучшем случае, оставляя в памяти груду необработанных фактов, похожих на навозную кучу, лишенную перекрестных ссылок и ассоциаций.

Хакеры – это мыслящие люди, решающие нестандартные задачи и синтезирующие знания даже при катастрофической нехватке исходных данных. Интуиция интуицией, но чтобы не захлебнуться в потоке поступающих данных, мозгу необходима помощь.

Другими словами, эффективность обучения отнюдь не «just a question of time». Способность быстро осваивать новые предметные области — своего рода искусство, которому учатся годами, в очередной раз открывая малоизвестные особенности мозга, позволяющие использовать сон не для отдыха, а для обработки полученных данных и оптимизации нейросети. Однако сокращение времени сна существенно ухудшает наши мыслительные способности и снижает усвояемость материала, а если добавить сюда нервное и физическое истощение (известное любому хакеру), становится ясно: чем меньше мы спим, тем меньше успеваем.

Как найти гармонию с самим собой? Как правильно спать, чтобы достичь максимальной эффективности переработки информации? Наконец, какие техники использовать, кому верить, а кого – послать?! Мыщъх, перебравший десятки методик обучения во сне и отрабатывающий их на протяжении десятилетий, делится своим личным опытом, который будет полезен многим, в том числе и далеким от хакерства людям. Никакого специального оборудования не потребуется. Даже силы воли не нужно, достаточно желания.
Мифы древней Греции

Интернет и желтая пресса буквально ломятся от рекламы разных кассет с программой обучения иностранных языков во сне, но это облом! Причем двойной. Во сне мозг отключается от всех портов ввода/вывода и перестает воспринимать новую информацию, переключаясь на обработку полученной ранее. Текст диктора превращается в раздражитель, высаживающий нас на неглубокий, неспокойный, прерывистый сон, так что эффект от такого обучения обратный, так что, чем скорее мы от него откажемся, тем лучше.

Другой распространенный миф связан с тем, что во сне голова якобы отдыхает, но это не подтверждается ни опытами, ни различными методами измерения активности мозга, которая во сне зачастую повыше, чем во время бодрствования. Отключенный от каналов восприятия информации и освобожденный от необходимости решения текущих задач, мозг активно работает над переработкой ранее полученной информации, а также занимается оптимизацией нейросети, выкидывая оттуда весь мусор и создавая новые ассоциативные цепочки, связывающие разрозненные данные и рождая новые знания.

Известно, что дети проводят во сне в среднем до 18 часов, и ведь это неспроста. Во время бодрствования они познают мир, а во сне переваривают обрушившийся на них шквал знаний. По мере сокращения поступления свежего материала (картина мира близка к завершению, чего там еще осваивать) время сна постепенно сокращается, достигая к 5 годам 9 часов, а затем – и менее того.

Вывод: чем больше объем поступающей информации, тем дольше рекомендуется спать для повышения эффективности ее усвоения. Чем мы хуже детей?! Вся трудность в том, что большинство из нас совершенно не умеют спать, а без правильного сна эффективное обучение невозможно, затруднено или зависит от внешних обстоятельств, которые мы можем контролировать, но… обычно игнорируем, не придавая им никакого значения.
Физиология сна — факты или домыслы?

Что представляет собой сон, и какие процессы протекают у нас в голове, доподлинно не знает никто. Десятки конкурирующих теорий противоречат друг другу, поэтому ограничимся тем фундаментом, на базе которого большинство ученых строят свои гипотезы.

Существует две разновидности сна, циклически сменяющие друг друга: быстрый (rapid eye movement REM) и медленный (non-rapid eye movement NREM). Процесс засыпания начинается с медленного сна (проходя через четыре специфических стадии в следующей последовательности: 1 > 2 > 3 > 4 > 3 > 2). Затем мозг переключается в режим быстро сна, после чего вновь наступает медленный сон, сменяющийся быстрым. Такая «свистопляска» продолжается всю ночь при средней длительности одного цикла в 90-110 минут, то есть до утра мы успеваем пережить порядка 2х-4х фаз быстрого и медленного сна.

Переработка накопленной информации происходит именно во время медленного сна, что прослеживается по активности декларативной (declarative) и семантической (semantic) памяти. Декларативная память, как и следует из названия, обеспечивает хранение данных в виде фактов. Это уподобляет ее жесткому диску, вращающемуся в нашей голове. Семантическая память отвечает за осмысление данных, превращая совокупность «голых» фактов в то, что мы называем «знанием». Под знанием понимается обобщение фактов — на вход поступает a1, a2, a3… an, а на выходе генерируется функция f(k). Другими словами, в период медленного сна происходит запоминание данных и их первичная обработка. Но наступает фаза быстрого сна, и голова буквально «взрывается»! В это время мы видим сновидения, являющиеся следствием «перетряски» нейросети. Грубо говоря, «дефрагментации» нашего жесткого диска, сопровождающейся удалением (забыванием) ненужных данных — тех, что не удалось обобщить. Такой вот естественный защитный механизм, спасающий жесткий диск от переполнения. Быстрый сон необходим для оптимизации нейросети и создания новых ассоциативных цепочек, выстраивающих только что обработанные данные в общую информационную базу. Если по-научному, «быстрый сон реализует подсознательные модели ожидаемых событий» — не совсем понятно, что за модели имеются в виду, зато как красиво сказано!

Подведем итог: обучение не только продолжается во сне, более того, оно там главным образом и происходит. Бодрствуя, мы лишь собираем данные и подготавливаем их для последующей обработки. Так что корпеть над учебниками все равно придется, иначе мозг, оставленный без пищи, будет забывать уже заученное, удаляя огромные массивы ненужных (с его точки зрения) данных. Однако бестолковая зубрежка без правильного (!) сна чрезвычайно малоэффективна, а правильно спать еще надо уметь.
Техника сна

Земля совершает оборот вокруг своей оси за 24 часа, а длительность биологических суток варьируется от 24,5 до 25,5 часов. Спать надо не по настенным, а по биологическим часам, причем не тогда, когда подруга в постель позвала, а когда действительно хочется ко сну. Проблема в том, что несовпадение биологических часов с «производственным ритмом» часто приводит к тому, что каждый день мы засыпаем (вернее, должны засыпать) на один час позже, соответственно, и пробуждаемся тоже. В результате мы получаем «плавающий» график, две недели в месяц чувствуя себя жаворонками, а две — совами. Естественно, реализовать такую схему могут только фрилансеры, ну или программисты с демократичным начальством, требующего выхлопа, а не трудовой дисциплины.

Но социальная проблема — это ерунда. Гораздо сложнее остановить вращение Земли, потому как для правильного сна необходим мелатонин, вырабатывающийся в организме только с наступлением темноты, а без него эффективность обработки информации катастрофически снижается. Плюс, солнце светит. Раздражает, понимаешь. И на улице шум. Еще телефон постоянно звонит. Короче, плотные портьеры, наушники и в аптеку за мелаксеном, действующим веществом которого является мелатонин. А вот от снотворных (типа Атаракса) лучше воздержаться. Заснуть мы заснем, но это будет неправильный сон, и мозги «зависнут» не только на ночь, но и на весь последующий день. Конечно, существуют специальные препараты, купирующие побочные действия снотворных, но, сам понимаешь, к отраве лучше не прибегать.

Среди западной молодежи большое распространение получил состав под названием B6mix, основными компонентами которого являются: витамин B6, корень валерьяны и уже известный нам мелатонин. Дозы варьируются в широких пределах – от 13 мг до… ну, тут у кого как. Некоторые заглатывают аж целый грамм, но что касается моего личного опыта, то он никогда не превышал 69 мг. Витамины — они хоть и полезные, но выведение их из организма процесс сложный. Валерьяны берем порядка 1 грамма, причем, это должна быть настоящая валерьяна, а не то непонятное вещество, что продается в аптеках (содержание активного вещества в растительном сырье варьируется, и потому, сколько его содержит одна таблетка, остается только гадать). В магазинах для «качков» продается настоящая валерьяна, на упаковке указано количество активного вещества в исходном сырье. Дозу мелатонина увеличиваем в 1,5-2 раза от «обычной», то есть заглатываем от 3 мг до 9 мг, что, впрочем, остается в допустимых пределах, согласно прилагаемой к мелаксену инструкции.

B6mix главным образом воздействует на фазу быстрого сна. При этом мы видим яркие (так называемые «триповые») сны. Мозг во всю работает над оптимизацией нейросети, и мы просыпаемся с кучей новых ассоциативных цепочек. Задачи, над которыми мы бились, как гориллы, внезапно оказываются решенными, кроме того, из «информационной базы» выброшены все ненужные данные, и голова впитывает новую информацию, как сухая губка. Впрочем, довольно часто вместе с ненужными данными забываются и полезные факты. Так что B6mix – это не средство для повседневного применения. Проконсультировавшись с медиками, мыщъх решил употреблять его не чаще раза в месяц, максимум — раз в две недели. Основной побочный эффект – при избытке витамина B6 организм начинает выводить его вместе с другими витаминами, поэтому, хотя сам по себе B6 (в разумных дозах) вреда не приносит, он «вымывает» всех своих коллег, которые, конечно, можно восполнить, но лучше без нужды к этому не прибегать…
Продвинутые техники обучения во сне

Слушать музыку во время сна в учебниках по психологии не рекомендуется, правда, объяснения даются какие-то невнятные. Опыты показывают обратное. Музыка во время сна перестает быть раздражителем, поскольку сознание отключается от всех каналов восприятия информации, особенно если сон глубокий. Но вот подсознание продолжает работать, а музыка еще во времена папуасов использовалась для управления биологическими процессами, например, сердечным ритмом.

Спокойная музыка (а-ля классика) идет лесом, но вот из современной можно подобрать что-то реально торкающее. Находим музыку, под которую наш пульс выстраивается по стойке «смирно», в смысле, синхронизируется с BPM (Beats Per Minute – количество ударов в минуту – термин, широко распространенный в музыкальной индустрии, за подробностями обращайся к ди-джеям). Нацепляем наушники, отъезжаем в сон и ловим… нет, не кайф, а очень интересный эффект. При входе в фазу быстрого сна сердцебиение учащается; ну, это оно без музыки учащается, а с музыкой — возвращается обратно; значит, фаза быстрого сна тут же завершается или вообще не наступает.

Как следствие, эффект «вытряхивания» всех необобщенных данных блокируется. То есть прочитанный материал реально лучше запоминается. А как быть, если нужно решить прямо противоположную задачу, удлинив продолжительность фазы быстрого сна? Компьютер нам на что? Смена темы музыки способна не только спровоцировать преждевременный переход от медленного к быстрому сну, но и предотвратить завершение фазы быстрого сна — достаточно, чтобы наушники держали надлежащий темп.

Другими словами, слушая заранее подготовленную композицию, мы можем управлять сменой фаз, определяя продолжительность каждой из них. После нескольких месяцев тренировок удается добиться, чтобы сон состоял преимущественно из одних фаз быстрого сна, или же наоборот, чтобы доминировали медленные фазы, а быстрые завершались, не успев начаться. Сон, состоящий целиком из быстрых фаз — это что-то потрясающее. Мозги прочищаются так, что оптимизированная нейросеть с ходу решает задачи, над которыми мы зависали месяцами. Вспоминаются многие давно забытые факты (за счет того, что они зацепились за вновь построенные ассоциативные цепочки), причем, длина всех ранее построенных ассоциативных цепочек сокращается, скорость мышления увеличивается (короче маршрут — быстрее результат). И все это — без химии!

Сложность в том, что музыка — довольно слабое средство, и воздействовать на фазы может только, если темп музыки меняется примерно тогда же, когда происходит смена фаз (этот момент без спецоборудования не определишь). Ладно, будем исходить из того, что длительность медленной фазы составляет чуть больше часа. За ней следует короткая (10-15 минут) быстрая фаза, причем, с каждым последующим циклом продолжительность быстрых фаз увеличивается — сначала резко (приблизительно вдвое), после чего их длительность стабилизируется, пока мы, наконец, не просыпаемся.

Вот с таким расчетом и будем подбирать музыку, а на утро смотреть результат. Если смена темпа мелодий происходила во время смены фаз, мы проснемся отдохнувшими, и сновидения будут яркими, красочными и запоминающимися. Соответственно, если медленная фаза протекала под ритмичную музыку, а быстрая — наоборот, то мы проснемся разбитые и не вполне адекватные. Однажды подобрав более или менее правильную композицию, будем слушать ее каждую ночь, заставляя организм подстраиваться под музыку. На это уходит месяц или около того. После чего уже можно начинать варьировать продолжительность тех или иных музыкальны фрагментов, сдвигая их на ~10 минут и… организм как Собака Павлова будет «подтягиваться» за ритмом наушников. Еще через пару недель можно уже выбирать композиции, целенаправленно воздействуя на смену фаз.

Какую именно музыку использовать? Да любую, главное, чтобы она нравилась и гарантировано не надоела даже через пару месяцев ежедневного (точнее, еженощного) прослушивания. Лично мыщъх использует микс из двух альбомов: In Einer Zukunft Aus Trnen-und-Stahl группы LA-me immortelle и Leben Geben Leben Nehmen группы Heimataerde, естественно, с переупорядоченными треками.

Другой интересный момент — если днем в процессе решения хакерских задач слушать одну и ту же музыку, то при ее прослушивании ночью, при наступлении фазы быстрого сна, мозг через цепочку ассоциаций «дотянется» до мыслей, которые мы думали, но так и не додумали. На утро, с высокой степенью вероятности, мы проснемся с готовым решением. Главное, чтобы возникла устойчивая ассоциация: музыка — решаемая задача.
Заключение

Возможности нашего мозга будут изучены еще нескоро. Обучение во сне — это реальность, доступная каждому и базирующая на механизмах, уже заложенных в нас природой. Так почему бы их не использовать?
INFO

Когда мы начинаем зевать, мозги «отключаются», блокируя каналы поступления новых порций информации, которая все равно пойдет в «дренаж» — хоть насилуй себя, хоть нет. Лучше сразу выдвигаться на топчан.

Седативные препараты и разные способы релаксации перед сном воздействуют на фазу медленного сна, в процессе которой происходит закрепление полученных данных и их первичная обработка. Но оптимизация нейросистемы выполняется намного хуже, чем без них.

 

 

http://www.xakep.ru/magazine/xa/115/136/1.asp