November 14

Состав. Часть пятая

Скрытые слои

С момента выхода четвёртой части прошло три месяца – срок для нынешней гонки огромный, поэтому, прежде чем двигаться дальше, напомню, о чём шла речь в предыдущих сериях и что за эту осень успело измениться.

Первые три части нашего расследования были о том, из чего на самом деле сделана машинная музыка. К лету 2026 года доля полностью сгенерированных треков среди новых загрузок на стриминговых платформах в пиковые дни превысила половину, а главные игроки этого рынка – американские сервисы Suno и Udio – полтора года отвечали на все иски звукозаписывающих студий одной и той же обтекаемой фразой про «общедоступные данные из интернета». Осенью 2025 года под массовое заражение хранилищ программного кода случайно попала внутренняя сеть Suno, и в открытом доступе оказались рабочие журналы компании. Оказалось, что за туманной формулой стоят свыше полумиллиона часов музыки, скачанной с YouTube через платный сервис обхода технической защиты, и готовые списки ссылок на миллионы песен, собранные европейскими учёными под прикрытием научного исключения из авторского права. А когда в июле американский суд по делу компании Anthropic впервые утвердил в мировом соглашении цену за такое сырьё – по три тысячи долларов за каждое взятое без спроса произведение, – выяснилась простая вещь. Один только список песен из утечки стоил бы дороже самой Suno, оценённой инвесторами в 5,4 миллиарда долларов. Тем временем китайские конкуренты (например, компания Kunlun) учили свои музыкальные модели по тем же самым ссылкам совершенно открыто, а на иск в США ответили, что юрисдикция чикагского суда на них вообще не распространяется.

За эти три месяца история получила прямое продолжение сразу в нескольких судах. В сентябре Suno в официальном ответе бостонскому суду сама признала то, что прежде мы знали только из украденных хакерами журналов: компания действительно скачала с YouTube десятки миллионов записей для обучения своих моделей. Через неделю после этого признания Suno выпустила шестую версию генератора (в партнёрстве с Warner, BMG и Believe), объявила об отключении всех старых версий, но тут же получила от Universal и Sony второй иск – ещё на шестьдесят тысяч записей и девять миллиардов долларов. Крупнейшие студии назвали новую модель «плодом того же отравленного дерева», поскольку учили её в том числе на песнях, созданных прежними нелицензионными версиями. К ноябрю судебные повестки от лейблов дошли даже до венчурного фонда корпорации NVIDIA, вложившегося в стартап годом ранее, – отбиваясь от вызова на допрос, фонд сообщил суду, что уже передал юристам музыкальных компаний почти тридцать тысяч страниц документов и переписки.

Но в четвёртой части мы перешли от судебных споров к устройству самой машины – после того как 31 июля 2026 года суд в Мюнхене вынес первое в Европе решение против Suno по иску немецкого авторского общества GEMA. Защита американской компании строилась на красивом техническом доводе: никаких звуковых файлов внутри обученной модели нет, а миллиарды её параметров – весов – отражают лишь усвоенные закономерности музыки. Однако ещё при подготовке иска в январе 2025 года сотрудники GEMA ввели в модели Suno версий 3.5 и 4 простые текстовые запросы со словами известных хитов и получили на выходе точные мелодии, аккорды и ритм оригиналов. Суд встал на сторону авторов и пришёл к выводу, что чужие произведения записаны внутри самой модели, а значит, компания незаконно хранит и воспроизводит их. Вот только как именно таблица из чисел хранит чужую песню без единого звукового файла, судьи разбирать не стали. Чтобы ответить на этот вопрос, нам пришлось вернуться к самому рождению искусственного интеллекта – от первой математической модели нейрона, предложенной в 1943 году, и перцептрона Фрэнка Розенблатта 1958 года до 1969-го, когда американский Конгресс запретил Пентагону финансировать фундаментальные исследования без прямого военного применения. В том споре за бюджет победили сторонники логических правил, задаваемых человеком, во главе с Марвином Минским, а исследования нейронных сетей в США остались без финансирования – началась первая зима искусственного интеллекта.

Кибернетика в спецхране и люди в погонах

Первой ту американскую зиму считают потому, что позже наступила и вторая – так в истории науки назвали годы, когда из целой области разом уходили и деньги, и исследователи. Ни одно из этих похолоданий не было вызвано тупиком в самой математике. А в нашей стране у науки о думающих машинах судьба и вовсе сложилась в противофазе с западной. Сначала ей мешали идеологи, зато в годы американского безденежья советская школа шла в гору – пока в конце концов не исчезла сама страна, оплачивавшая эти работы.

На старте опоздание было делом чистой идеологии. Вышедшая в 1948 году книга американского математика Норберта Винера «Кибернетика» в СССР угодила в спецхран. Причина лежала на поверхности: Винер описывал управление и связь в машине и живом организме одними и теми же математическими законами, а советские философы увидели в этом покушение на догмат о том, что высшие формы материи нельзя сводить к механике. К 1954 году кампания дошла до предела – в четвёртом издании «Краткого философского словаря», отпечатанном тиражом в полтора миллиона экземпляров, кибернетику прямо объявили «реакционной лженаукой».

Положение спасли военные. Инженер-майор Анатолий Иванович Китов служил тогда военным представителем в секретном конструкторском бюро СКБ-245, где создавали советскую ЭВМ «Стрела». Книга Винера хранилась в закрытой библиотеке бюро: чтобы просто взять её с полки в 1951 или 1952 году, Китову понадобилось письменное разрешение главного маршала артиллерии Николая Николаевича Воронова. Прочитав монографию, Китов написал обстоятельную статью в защиту новой науки и принёс рукопись Алексею Андреевичу Ляпунову, читавшему в МГУ первый в стране курс программирования. Ляпунов дописал несколько страниц и отнёс текст академику Сергею Львовичу Соболеву – математику с огромным авторитетом, заместителю Курчатова по атомному проекту. Соболев прочитал рукопись, согласился подписать её вместе с ними, и по научной традиции тех лет имя академика – вопреки алфавитному порядку – поставили первым, чтобы придать выступлению максимальный вес.

Редакция главного идеологического журнала «Вопросы философии» спорить с атомщиками и военными не решилась, попросив только согласовать публикацию в ЦК. В отделе науки ЦК против статьи возражать не стали, но предложили до её выхода подготовить научную общественность. Полтора года Китов и Ляпунов выступали с докладами на десятках площадок – в Московском математическом обществе, в аудиториях МГУ, в Политехническом музее, в академических институтах Москвы и Ленинграда и в самом аппарате ЦК. Залы, по воспоминаниям Китова, были переполнены. Когда в июле 1955 года в печать подписывали дополнительный тираж четвёртого издания «Краткого философского словаря», статью со словами о «реакционной лженауке» из книги уже убрали, а в августе в четвёртом номере «Вопросов философии» вышли «Основные черты кибернетики».

Почему же кибернетику не запретили так же, как генетику после сессии ВАСХНИЛ 1948 года? Ответ позже дал Дмитрий Александрович Поспелов, один из создателей отечественной школы искусственного интеллекта, о котором речь ещё впереди. Первые советские компьютеры создавали по заказу оборонных ведомств, а первые в стране открытые учебники по устройству ЭВМ и программированию написали кадровые офицеры – в том числе сам Китов. Вычислительные машины были нужны для расчёта ядерных зарядов и ракетных траекторий, поэтому в обиду идеологам новую науку военные и атомщики просто не дали. Без их прикрытия развитие компьютеров в стране задержалось бы на десятилетия.

Пятилетнее отставание на старте быстро отыграли, а к семидесятым годам пути двух сверхдержав в этой науке разошлись. В те самые годы, когда после книги Минского и поправки Конгресса американские лаборатории закрывали проекты по нейронным сетям, в Советском Союзе начался подъём. В 1974 году московский исследователь Александр Иванович Галушкин выпустил монографию о синтезе многослойных систем распознавания образов – тех самых многослойных нейронных сетей, объявленных на Западе бесперспективными. В Киеве Алексей Григорьевич Ивахненко строил сети, способные самостоятельно наращивать и отбирать нужные слои в ходе расчёта. А в московском Институте проблем управления Владимир Наумович Вапник и Алексей Яковлевич Червоненкис решали фундаментальный вопрос: при каких условиях машина, выучившая правильные ответы на конечном наборе примеров, не растеряется на новых данных? Открытая ими мера сложности обучаемой системы (размерность Вапника – Червоненкиса) легла в основу современной статистической теории обучения и вошла во все мировые учебники.

Тысяча правил и коробка за сто долларов

На Западе тем временем в первую зиму без денег осталась только одна из двух научных школ. Сторонники символьного подхода, выигравшие у Розенблатта борьбу за бюджеты, в семидесятые годы развернулись во всю ширь. Их расчёт казался простым и надёжным – раз машина не умеет сама выводить закономерности из сырых примеров, готовые знания в неё нужно аккуратно вложить руками человека. Инженер месяцами расспрашивает опытного врача, геолога или химика и записывает ход его рассуждений в виде цепочки строгих правил «если – то».

Такие программы назвали экспертными системами, а замысел первой из них родился в марсианской программе NASA. Нобелевский лауреат по физиологии и медицине, генетик Джошуа Ледерберг с 1961 года разрабатывал для космического агентства способы искать в марсианском грунте следы жизни – органические молекулы. Живого исследователя на другую планету не пошлёшь, от автоматического зонда на Землю по радиоканалу придут лишь показания масс-спектрометра, и расшифровать по ним состав сложных соединений должна программа. В 1965 году Ледерберг вместе со специалистом по вычислительной технике Эдвардом Фейгенбаумом и химиком Карлом Джерасси создал в Стэнфорде систему DENDRAL, которая по спектрам определяла строение органических веществ не хуже опытного аналитика. Двадцать лет спустя сам Ледерберг подвёл итог этому повороту очень точно: мы пытались изобрести искусственный интеллект, а по дороге открыли экспертную систему – и обнаруженный тогда принцип, что сама сумма заложенных знаний важнее сложного алгоритма рассуждений, стал знаменем целого направления.

Коммерческий триумф этого подхода пришёлся на середину восьмидесятых. Самая знаменитая экспертная система тех лет, программа XCON, проверяла и комплектовала для компьютерной корпорации DEC сложные заказы на вычислительные машины, экономя компании 25 миллионов долларов ежегодно (около 75 миллионов в нынешних ценах). К 1985 году мировой рынок экспертных систем и специализированных Лисп-машин превысил миллиард долларов в год (свыше трёх миллиардов в пересчёте на сегодняшние деньги), а две трети крупнейших корпораций из списка Fortune 500 применяли такие программы в повседневной работе.

А в 1987 году вся эта миллиардная индустрия обрушилась в одночасье – по трём причинам сразу. Во-первых, обесценилось специализированное железо: инженерные рабочие станции компании Sun и настольные компьютеры нового поколения от IBM и Apple стали справляться с теми же задачами не хуже отдельных Лисп-машин и стоили в несколько раз дешевле, причём вышедшая весной 1986 года коробочная версия среды разработки Turbo Prolog от компании Borland продавалась за 99 долларов 95 центов и позволяла писать такие системы прямо на персональном компьютере. Во-вторых, базы правил, которые программисты и эксперты заполняли вручную, стало невозможно поддерживать по мере их роста. К 1987 году внутри той же системы XCON накопилось уже 6200 правил, причём с появлением новых деталей половину всей этой базы приходилось переписывать заново каждый год (к 1989 году число правил перевалило за десять тысяч). Чем длиннее становился свод инструкций, тем чаще старые правила вступали в противоречие с новыми. В своей узкой колее программа отвечала безошибочно, но стоило задаче чуть-чуть выйти за рамки предусмотренного, как система выдавала нелепый сбой – учиться на собственных ошибках она не умела. В-третьих, сменился взгляд главного заказчика. В 1987 году управление информационных технологий оборонного агентства DARPA возглавил Джек Шварц – основатель кафедры компьютерных наук в Нью-Йоркском университете. Он прямо назвал экспертные системы просто удачно написанными программами и резко сократил финансирование всего этого направления. Так на Западе наступила вторая зима искусственного интеллекта.

Мне довелось увидеть встречу двух этих научных школ прямо в студенческой аудитории. Когда я учился на третьем курсе МИРЭА, в стране приняли Государственную программу по искусственному интеллекту. Весной 1990 года на факультете кибернетики кафедру автоматизированных систем управления переименовали в кафедру «Интеллектуальные технологии и системы» и собрали первую специализированную группу – АС-И-87 (чуть позже такие же курсы запустили и для потока прикладной математики). Учебный план из двадцати с лишним новых предметов, которых прежде не читали ни в одном советском вузе, для нас составили академик Гермоген Сергеевич Поспелов, профессор Дмитрий Александрович Поспелов, создатель советских экспертных систем Эдуард Викторович Попов и их коллеги из Вычислительного центра Академии наук. Занятия вели учёные из того же ВЦ АН СССР и преподаватели Физтеха. В одной программе у нас мирно соседствовали оба направления, десятилетиями делившие в Америке бюджеты как непримиримые враги, – нам читали и классическое распознавание образов, и перцептроны с нейронными сетями в том виде, в каком они существовали к началу девяностых, и тут же инженерию знаний и экспертные системы, которые мы писали на лабораторных работах в том самом Turbo Prolog. Даже мой собственный диплом 1993 года для Института общей генетики РАН невольно отразил эту развилку – в обзоре я честно написал, что традиционное распознавание образов не оправдало ожиданий, и поверх многомерной статистики выстроил базу знаний на фреймах Марвина Минского и правилах вывода. Впрочем, о том, как собирали и учили этот первый в стране выпуск по искусственному интеллекту, стоит когда-нибудь рассказать отдельно.

Продлилась эта всесоюзная программа недолго. С распадом Союза деньги на науку иссякли, а исследователи потянулись за океан ещё раньше. Владимир Вапник в 1990 году перебрался в США и пришёл работать в Лаборатории Белла. Там он развил свою теорию до метода опорных векторов – алгоритма, ставшего на следующие двадцать лет главным мировым стандартом машинного обучения. Алексей Червоненкис остался в московском Институте проблем управления, но с конца девяностых параллельно читал лекции в лондонском Королевском колледже Холлоуэй. Отечественная школа искусственного интеллекта не исчезла – просто с тех пор её создатели работали и публиковались в разных странах и на разных языках.

Если сложить вместе события этих пятидесяти лет, получается поучительная картина – исследования думающих машин останавливали четыре раза по обе стороны океана. В Америке их сначала подкосила бюджетная поправка Конгресса, а затем обвал рынка специализированных компьютеров и разочарование военных заказчиков. У нас на старте дорогу перекрыли партийные идеологи, а в финале рухнуло само государство, финансировавшее науку. Ни в одном из этих случаев сама математика в тупик не заходила – всякий раз развитие прерывалось тогда, когда у государства пропадали деньги или политическая воля продолжать работы. Кто же платит за нынешний бум? Впервые в таком масштабе главным инвестором отрасли выступает не военное ведомство и не государственный бюджет, а частный капитал. Деньги дают технологические гиганты и инвестиционные фонды в расчёте на контракты с крупным бизнесом, государственные заказы и платные подписки миллионов пользователей, но окупится ли эта коммерческая ставка, пока не знает никто.

Обучение представлений

А чтобы понять, откуда взялись нынешние нейросети, достаточно сопоставить две публикации одной и той же осени 1986 года – за несколько месяцев до краха экспертных систем. В сентябре в массовом компьютерном журнале BYTE, который читали программисты по всему миру, на рекламных разворотах сразу за обложкой предлагают купить коробку с Turbo Prolog за неполные сто долларов, а в самом номере выходит подробный разбор пакета. А через несколько недель, 9 октября 1986 года, в научном журнале Nature выходит небольшая статья о том, как всё-таки заставить учиться многослойную нейронную сеть. В разгар моды на ручные правила эту академическую работу за пределами узкого круга специалистов почти никто и не заметил.

Ту четырёхстраничную статью в октябрьском номере Nature написали Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс. В ней был описан рабочий способ учить многослойные нейронные сети – метод обратного распространения ошибки. В перцептроне Розенблатта с одним обучаемым слоем ошибка видна сразу на выходе, поэтому понятно, какие веса нужно подправить, а в многослойной сети внутренние слои скрыты за внешними, и долгое время никто не знал, как оценить вклад каждого глубокого нейрона в общий промах. Авторы статьи решили эту задачу через правило дифференцирования сложной функции из университетского курса матанализа: многослойная сеть – это просто несколько математических функций, вложенных одна в другую. Когда сеть даёт на выходе неверный ответ, величину ошибки передают от последнего слоя обратно к первому, шаг за шагом вычисляя через производные, какой именно вес и насколько сильно портит конечный ответ. Затем каждый из тысяч весов чуть-чуть подкручивают в нужную сторону – и повторяют эту процедуру миллионы раз на всё новых примерах.

Сам по себе этот математический приём не был новостью даже в 1986 году, причём открывали его независимо в разных странах. Финский математик Сеппо Линнаинмаа описал точно такой же обратный проход производных ещё в 1970 году в магистерской диссертации о накоплении вычислительных погрешностей. Американец Пол Вербос в 1974 году заново вывел эту формулу в гарвардской докторской работе применительно к нейросетям. А в Москве послойный расчёт градиента ошибки для многослойных сетей был описан в уже упомянутой монографии Галушкина 1974 года. На Западе отсчёт обычно ведут от работ Вербоса и Линнаинмаа, поскольку советская книга на английский тогда не переводилась (обобщающий труд Галушкина вышел на Западе только в 2007 году), а у нас, наоборот, долго не знали о финской диссертации.

Но главное открытие статьи 1986 года было не в самой формуле расчёта, а в том, что обнаружилось внутри обученной сети. Авторы показали: когда многослойную схему прогоняют через тысячи примеров, нейроны её внутренних, скрытых от пользователя слоёв сами собой настраиваются на узловые признаки изучаемого предмета – хотя программист никаких признаков им не задавал и правил не писал. Именно поэтому в заголовке статьи в Nature на первое место вынесли «обучение представлений», поставив его впереди самого метода обратного распространения ошибки. Во всех нынешних нейросетях, включая генераторы музыки, всё выученное машиной – от общих законов гармонии до конкретных чужих мелодий – оседает в весах тех самых скрытых слоёв. И по удивительному совпадению редакция журнала приняла эту рукопись к печати 31 июля 1986 года – ровно за сорок лет, день в день, до того как 31 июля 2026 года мюнхенский суд по делу Suno признал: если внутренние слои сети заучили чужую песню слишком близко к оригиналу, перед законом это такая же копия произведения, как и обычный звуковой файл.

Почему же после публикации 1986 года миру понадобилось ещё четверть века, чтобы нейронные сети вышли из исследовательских лабораторий в нашу повседневную жизнь? Для работы таких сетей недоставало двух вещей – огромных массивов размеченных примеров и железа для параллельных вычислений, способного выполнять миллионы дробных расчётов одновременно (по-русски такие операции грамотно называть вычислениями с плавающей запятой, ведь именно запятой у нас отделяют дробную часть числа, но с девяностых годов все говорят на английский манер «с плавающей точкой»). На рубеже девяностых обычные персональные компьютеры вообще не умели быстро считать дроби: для этого к процессору нужно было докупать отдельную микросхему математического сопроцессора – 287 или 387 – и вставлять её в пустое гнездо на материнской плате, да и она щёлкала примеры строго по очереди, один за другим. И данные нужного объёма, и быстрое параллельное железо сошлись вместе только к 2012 году. Сначала в 2007 году исследовательница из Принстона Фей-Фей Ли запустила проект ImageNet: чтобы рассортировать по категориям четырнадцать миллионов фотографий из интернета, она привлекла через онлайн-биржу мелких сдельных поручений Amazon почти пятьдесят тысяч человек из десятков стран, получавших по несколько центов за пачку размеченных снимков. А необходимую скорость параллельных расчётов неожиданно дали игровые графические ускорители фирмы NVIDIA. Их создавали для того, чтобы в трёхмерных компьютерных играх одновременно обсчитывать свет и перспективу для миллионов точек на экране, – и оказалось, что точно такой же параллельной арифметики требует пересчёт весов в многослойной нейросети. Осенью 2012 года на международном соревновании по распознаванию картинок ImageNet с огромным отрывом победила глубокая нейронная сеть AlexNet. Её построили в Университете Торонто соавтор той самой статьи 1986 года Джеффри Хинтон (получивший позже за работы по нейронным сетям Нобелевскую премию) и двое его аспирантов – Алексей Крижевский и Илья Суцкевер, будущий сооснователь и научный руководитель компании OpenAI, создавшей ChatGPT. Их программа ошибалась лишь в 15,3 процента случаев против 26,2 процента у лучшего из соперников, работавшего по старинке на придуманных человеком правилах и признаках. Полувековой спор двух научных школ о том, должен ли человек вручную задавать машине признаки, на этом закончился.

И всё-таки от первой модели нейрона 1943 года до триумфа AlexNet в 2012-м – почти семьдесят лет подряд – нейронные сети учились только одному ремеслу: узнавать готовое. Узнать букву перед сеткой фотоэлементов, отличить кошку от собаки на фотографии, разобрать человеческую речь в телефонной трубке. Даже в компании Kensho, где познакомились будущие основатели Suno и сделали свой первый звуковой проект, их нейросеть занималась тем же самым – слушала записи телефонных конференций крупных корпораций по квартальной отчётности для агентства S&P Global и переводила голоса директоров в текст. Машина умела внимательно слушать и раскладывать услышанное по полочкам, но не умела спеть в ответ ни одной ноты, неотличимой от живой записи. Чтобы она запела сама, всю эту семидесятилетнюю конструкцию пришлось развернуть в обратную сторону. О том, как это устроено внутри, – в следующей части…

Для пытливых умов:

  1. Music Business Worldwide о втором иске Universal и Sony к Suno на 60 тысяч записей и о модели v6 как «плоде того же отравленного дерева» (18 сентября 2026): https://www.musicbusinessworldwide.com/universal-and-sony-sue-suno-for-a-second-time-claiming-platforms-v6-models-are-the-fruit-of-the-same-poisoned-tree/
  2. «Очерки истории информатики в России», под редакцией Д. А. Поспелова и Я. И. Фета – сборник архивных документов и воспоминаний участников, СО РАН (1998): https://www.computer-museum.ru/books/Essays_on_hist_of_CS.pdf
  3. В. А. Китов, В. В. Шилов, «Точка отсчёта истории отечественной кибернетики», доклад конференции SORUCOM (2011): https://www.computer-museum.ru/histussr/otchet_sorucom_2011.htm
  4. Джошуа Ледерберг, «Как задумывалась и рождалась система DENDRAL», доклад на конференции ACM (5 ноября 1987): https://larrymasinter.net/lederberg-dendral.pdf
  5. Журнал BYTE с рекламой на первых полосах и обзором среды разработки Borland Turbo Prolog за 99,95 доллара на стр. 293 (сентябрь 1986): https://archive.org/details/byte-magazine-1986-09
  6. История создания кафедры «Интеллектуальные технологии и системы» факультета кибернетики МИРЭА по Государственной программе СССР в области ИИ (1989–1990): https://mirea-its.narod.ru/history.htm
  7. Дэвид Румельхарт, Джеффри Хинтон, Рональд Уильямс, «Обучение представлений методом обратного распространения ошибки», журнал Nature (9 октября 1986): https://www.nature.com/articles/323533a0