Путеводитель по миру рекуррентных нейронных сетей: от новичка до создания AI для чайников

Лучшие книги про искусственный интеллект и нейронные сети

Нейронные сети

«Создаем нейронную сеть», Тарик Рашид

Тарик Рашид — специалист в сфере количественного анализа данных. В книге он несложно рассказывает, что такое нейросети, как они работают и где используются. Еще он объясняет, как на языке Python создать код, который распознает, написанные от руки цифры.

Чем полезна? После прочтения этой книги сможете создать собственную нейронную сеть, которая будет распознавать образы.

«Нейронные сети. Полный курс», Саймон Хайкин

Книга про нейронные сети для инженеров, физиков, программистов и всех, кому это интересно. Вы узнаете, как они распознают образы и обрабатывают сигналы. Автор подкрепил теорию математическими вычислениями, компьютерными исследованиями и практическими примерами.

Чем полезна? Книгу можно использовать для разработки курсов по нейронным сетям. Здесь рассматриваются важные системы нейросетей, есть много практических задач, а в конце автор представил список дополнительной литературы, если вы захотите еще больше углубиться в тему.

Автор делает обзор архитектур нейронных сетей для анализа информации. Она объясняет все этапы разработки модели нейросетей на примерах и рассказывает, как с их помощью можно делать прогнозы. Еще вы узнаете, как нейросети связаны со статистикой.

Чем полезна? Несмотря на научный контекст, книга написана просто, а сложные математические понятия объясняются с помощью изображений.

«Распознавание эмоций. Подход к анализу паттернов», Амит Конар, Аруна Чакраборти

Авторы собрали самые важные достижения науки в сфере распознавания эмоций нейросетями. Они объясняют, как машина может считать эмоции человека по выражению лица, голосу и жестам. Например, в автомобильной сфере нейросети выясняют уровень стресса и гнева водителей. Эмоциональное состояние последних влияет на их способность управлять автомобилем и может привести к аварии. Амит Конар и Аруна Чакраборти говорят, что потребность в таком анализе появляется и в других областях: психиатрии, медицине и государственных структурах.

Чем полезна? Вы узнаете в каком направлении будут развиваться новые технологии, в сфере распознавания эмоций.

Клеточные автоматы

# Автор Название Дополнительно
4.1. Тоффоли Т. Машины клеточных автоматов Т. Тоффоли, Н. Марголус. — М.: Мир, 1991. — 280 с.
4.2. Аладьев В. З. Классические однородные структуры: теория и приложения: монография В. З. Аладьев, В. К. Бойко, Е. А. Ровба. — Гродно: ГрГУ им. Я. Купалы, 2008. — 485 с.
4.3. Беркович С. Я. Клеточные автоматы как модель реальности: поиски новых представления физических и информационных процессов С. Я. Беркович. — М.: Изд-во МГУ, 1993. — 109 с.
4.4. Сырецкий Г. А. Информатика. Фундаментальный курс: учеб. для студентов вузов Г. А. Сырецкий. — Т. 1: Основы информационной и вычислительной техники. — СПб.: БХВ-Петербург, 2005. — 822 с.

«Верховный алгоритм. Как машинное обучение изменит наш мир» — Педро Домингос

Джеймс Винсент, обозреватель по темам AI и робототехники The Verge:

— Меня точно нельзя назвать светилом в мире AI, но как человек, который зарабатывает освещением этой темы, я прочёл достаточно книг, чтобы ориентироваться в ней. Две из них с самого начала вызвали у меня особый интерес, и я постоянно рекомендую их: «Верховный алгоритм» Педро Домингоса и «Искусственный интеллект» Ника Бострома.

Книга «Искусственный интеллект», написанная оксфордским профессором философии Бостромом, повествует об угрозе общего искусственного интеллекта (artificial general intelligence). Она вдохновила некоторых лидеров ИТ на спорные заявления об угрозе роботов-убийц (к которым, как мне кажется, стоит относиться весьма и весьма скептически), но в то же время она — лучшее введение в проблему повышения безопасности умных машин, которое я когда-либо читал. Причём эта проблема касается как суперумных, так и менее интеллектуальных систем. Тема не самая позитивная, но эту научную книгу на удивление приятно читать, хотя иногда она граничит с научной фантастикой.

«Верховный алгоритм» — отличное введение в технические аспекты AI. Она проходится по фундаментальным компонентам и понятиям от эволюционных алгоритмов до байесовской вероятности, а также показывает, как машинное обучение пересекается с такими дисциплинами, как нейробиология и психология. Иногда Домингос преувеличивает «неограниченную» мощь AI — это не «волшебные» системы, и зачастую они содержат глубокие изъяны, что очевидно из других книг списка. Но даже это хорошо даёт понять, насколько завораживающим может быть сам по себе потенциал технологии.

​Работа в ИТ в Беларуси​.​​​​​​​​​​​​​​​

1. Заполните анонимную форму — 5 минут.2. Укажите зарплатные (и другие) ожидания.3. Выберите желаемую индустрию или область деятельности.4. Получайте релевантные предложения​​.

Гудфеллоу Я., Бенджио И., Курвилль А. − Глубокое обучение, 2017 г.

Книга начинается с обзора истории и фундаментальных понятий глубокого обучения, а затем переходит к разбору основных методов, таких как многослойные нейронные сети, сверточные сети и рекуррентные сети.

Далее, авторы исследуют общие принципы оптимизации и регуляризации, используемые в глубоком обучении, а также алгоритмы обратного распространения ошибки и стохастического градиентного спуска.

В книге также рассматриваются современные темы, такие как генеративные модели и обучение с подкреплением, а также обсуждаются применения глубокого обучения в таких областях, как компьютерное зрение, естественный язык, речевые технологии и музыкальное искусство.

«Глубокое обучение» — это полезный ресурс для студентов, исследователей и профессионалов в области машинного обучения и искусственного интеллекта, которые заинтересованы в глубоком понимании методов глубокого обучения и их применения в различных областях.

Вот 5 основных тезисов из этой книги:

  1. Глубокое обучение — это область машинного обучения, которая использует глубокие нейронные сети для решения сложных задач, таких как распознавание образов, распознавание речи и машинный перевод.
  2. Одной из главных проблем в глубоком обучении является проблема градиентного исчезнования, когда градиенты весов становятся очень маленькими в процессе обучения глубокой сети. Эта проблема может быть решена с помощью различных методов, таких как активация ReLU и инициализация весов.
  3. Существует множество различных типов нейронных сетей, включая сверточные нейронные сети, рекуррентные нейронные сети и автокодировщики. Каждый тип сети оптимизирован для решения определенных задач.
  4. Для эффективного обучения глубоких нейронных сетей используются различные алгоритмы оптимизации, такие как стохастический градиентный спуск и методы оптимизации с адаптивным шагом обучения.
  5. Глубокое обучение применяется в различных областях, таких как компьютерное зрение, обработка естественного языка, обработка речи, генеративные модели и многие другие.

Кристоф Молнар − Interpretable Machine Learning, 2019 г.

«Interpretable Machine Learning» Кристофа Молнара — это книга, которая обсуждает проблему интерпретируемости моделей машинного обучения и их применение в различных областях, включая медицину, финансы и юриспруденцию. Автор дает обзор методов, которые позволяют объяснять, как модели машинного обучения принимают решения, и демонстрирует их применение на практических примерах.

Книга начинается с введения в тему и обсуждения проблем, связанных с интерпретируемостью моделей машинного обучения. Далее автор обсуждает методы интерпретации, такие как локальная интерпретируемость, глобальная интерпретируемость и прозрачность.

В следующих главах книги автор подробно рассматривает методы интерпретации, включая деревья решений, линейные модели, наивный Байесовский классификатор, метод ближайших соседей, градиентный бустинг и нейронные сети. Каждый метод обсуждается с точки зрения его интерпретируемости и применения на практике.

В конце книги автор обсуждает проблемы, связанные с этикой и прозрачностью моделей машинного обучения, а также предлагает рекомендации для того, как разработчики могут создавать более интерпретируемые модели.

В целом, «Interpretable Machine Learning» является ценным ресурсом для всех, кто хочет лучше понимать, как работают модели машинного обучения, и как сделать их интерпретируемыми и прозрачными. Книга будет полезна как для студентов, так и для профессионалов, работающих в области машинного обучения и искусственного интеллекта.

5 основных тезисов из книги «Кристоф Молнар − Interpretable Machine Learning, 2019 г.»

Проблема интерпретируемости моделей машинного обучения становится все более актуальной в связи с их широким применением в различных областях.

Существует несколько методов интерпретации, таких как локальная интерпретируемость, глобальная интерпретируемость и прозрачность.
Различные методы машинного обучения имеют разную степень интерпретируемости, и некоторые методы более подходят для интерпретации, чем другие.
Существует множество методов интерпретации, таких как важность признаков, частичные зависимости, пространство признаков, исследование ошибок и др.
Разработчики могут использовать различные методы для создания интерпретируемых моделей машинного обучения, и должны учитывать этические вопросы при разработке и применении моделей.

# 4. Совместимость с человеком: искусственный интеллект и проблема управления Стюарт Рассел

Что произойдет, если нам удастся создать разумного агента, нечто, что воспринимает, действует и является более разумным, чем его создатели? Как мы убедим машины достичь наших целей, а не их собственных целей?

Вышеизложенное приводит к одной из самых важных концепций книги:Совместимость с человеком: искусственный интеллект и проблема управлениязаключается в том, что мы должны избегать «закладывания цели в машину», как однажды сказал Норберт Винер. Умная машина, которая слишком уверена в своих фиксированных целях, — это высший тип опасного ИИ. Другими словами, если ИИ отказывается рассматривать возможность того, что он неправильно выполняет свою заранее запрограммированную цель и функцию, то может оказаться невозможным отключить систему ИИ.

Трудность, описанная Стюартом Расселом, заключается в том, чтобы проинструктировать ИИ/робота о том, что никакая проинструктированная команда не предназначена для выполнения любой ценой. Недопустимо жертвовать человеческой жизнью, чтобы принести кофе, или поджарить кошку, чтобы приготовить обед. Следует понимать, что «как можно быстрее доставьте меня в аэропорт» не означает, что могут быть нарушены правила превышения скорости, даже если это указание не является явным. Если ИИ ошибается в вышеуказанном, тогда отказоустойчивость — это определенный заранее запрограммированный уровень неопределенности. С некоторой неуверенностью ИИ может бросить вызов самому себе перед выполнением задачи, возможно, для получения словесного подтверждения.

В статье 1965 года под названием «Спекуляции относительно первой сверхразумной машины«И. Дж. Гуд, блестящий математик, работавший вместе с Аланом Тьюрингом, заявил: «Выживание человека зависит от раннего создания сверхразумной машины». Вполне возможно, что для того, чтобы спасти себя от экологической, биологической и гуманитарной катастрофы, мы должны создать самый совершенный ИИ, какой только сможем.

Эта основополагающая статья объясняет взрыв интеллекта, эта теория состоит в том, что сверхинтеллектуальная машина может создавать еще более совершенные и совершенные машины с каждой итерацией, и это неизбежно ведет к созданию ОИИ. Хотя изначально ОИИ может иметь такой же интеллект, как и человек, он быстро превзойдет людей в течение короткого промежутка времени

Из-за этого заранее сделанного вывода разработчикам ИИ важно актуализировать основные принципы, изложенные в этой книге, и научиться безопасно применять их при разработке систем ИИ, способных не только служить людям, но и спасать людей от самих себя

Как отметил Стюарт Рассел, отказ от исследований в области ИИ невозможен, мы должны двигаться вперед. Эта книга — дорожная карта, которая поможет нам разработать безопасные, ответственные и доказуемо полезные системы искусственного интеллекта.

Франсуа Шолле − Глубокое обучение на Python, 2018 г.

  1. Введение в глубокое обучение и его применение в различных областях.
  2. Основы Python и библиотеки NumPy, необходимые для работы с матрицами и тензорами.
  3. Основы машинного обучения, включая линейную регрессию, логистическую регрессию и метод опорных векторов.
  4. Основы нейронных сетей, включая однослойные и многослойные персептроны.
  5. Создание сверточных нейронных сетей для решения задач компьютерного зрения, таких как классификация изображений и распознавание объектов.
  6. Создание рекуррентных нейронных сетей для решения задач обработки естественного языка, таких как анализ тональности и генерация текста.
  7. Применение глубокого обучения для решения задач обработки речи, таких как распознавание речи и генерация речи.
  8. Применение глубокого обучения для решения задач обработки изображений, таких как сегментация изображений и генерация изображений.
  9. Создание генеративных моделей для решения задач генерации изображений и текста.
  10. Обучение моделей на графических процессорах с помощью библиотеки TensorFlow.

Книга также содержит множество примеров кода на Python, которые помогут читателю понять и применить различные концепции глубокого обучения на практике.

The Hundred-Page Machine Learning Book

Книга состоит из четырех разделов и предназначена для тех, кто только начинает изучать машинное обучение или хочет быстро освежить свои знания.

В первом разделе книги автор дает обзор основных концепций и терминов машинного обучения, таких как обучение с учителем, обучение без учителя и обучение с подкреплением.

Во втором разделе автор описывает основные алгоритмы машинного обучения, такие как линейная регрессия, деревья решений, метод опорных векторов и нейронные сети.

В третьем разделе автор объясняет, как оценивать качество моделей машинного обучения и как решать проблемы, связанные с переобучением и недообучением.

В четвертом разделе автор рассматривает продвинутые темы, такие как обработка естественного языка, рекомендательные системы и глубокое обучение.

Книга содержит множество примеров и иллюстраций, чтобы помочь читателям лучше понимать теорию. Она также включает практические задания и код для тех, кто хочет самостоятельно попробовать реализовать алгоритмы машинного обучения. В целом, «The Hundred-Page Machine Learning Book» является отличным ресурсом для всех, кто хочет быстро и эффективно познакомиться с основами машинного обучения.

5 основных тезисов из книги «The Hundred-Page Machine Learning Book»:

  1. Машинное обучение — это компьютерная наука, которая позволяет компьютерам обучаться из опыта, не явно программированного человеком.
  2. Основными типами машинного обучения являются обучение с учителем, обучение без учителя и обучение с подкреплением.
  3. Ключевыми алгоритмами машинного обучения являются линейная регрессия, деревья решений, метод опорных векторов и нейронные сети.
  4. Оценка качества моделей машинного обучения осуществляется с помощью метрик, таких как точность, полнота, F1-мера и площадь под ROC-кривой.
  5. Глубокое обучение — это подмножество машинного обучения, которое использует многослойные нейронные сети для извлечения высокоуровневых признаков из данных и достижения высокой точности.

Sorting Things Out: Classification and its Consequences — Джеффри Боукер, Сьюзан Ли Стар

Мередит Уиттакер, сооснователь и содиректор AI Now Institute при Нью-Йоркском университете:

— Это маст-рид для всех, кто интересуется вопросами предвзятости, беспристрастности и справедливости AI.

AI-системы — прежде всего системы классификации. Они обучаются на данных и используют свои «знания» для классификации того, что «видят». Например, AI-систему для найма можно научить тому, что из себя представляет «перспективный соискатель», введя в неё видео «успешных сотрудников». Если показать такой системе видеоролик соискателя, она сравнит его с комплексным образом успешного сотрудника и классифицирует соискателя как перспективного или неперспективного. Подобные системы уже используются, но есть опасные нюансы: если, к примеру, в обучающем датасете доля видео с темнокожими женщинами была слишком низка, то система вряд ли классифицирует их как «перспективных», а значит, шансы темнокожих женщин получить работу стремятся к нулю.

Книга Sorting Things Out затрагивает политику и последствия такого механизма классификации; классификация рассматривается не как отражение «естественных категорий», а как продукт истории, культуры и власти, в котором «каждая категория фокусируется на одной точке зрения и нивелирует другую». Авторы приводят примеры различных систем классификации от апартеида в Южной Африке до Международной классификации болезней ВОЗ, чтобы показать случайность категорий, которые мы часто принимаем как должное

Книга о важности понимания и критической оценки AI-систем, которые сегодня автоматизируют классификацию в ключевых социальных сферах

«Черты будущего» — Артур Чарльз Кларк

Грэг Брокман и Илья Суцкевер, соонователи OpenAI:

— Эта книга изменила наше представление о том, насколько быстро AI может повлиять на мир. Мы привыкли считать, что технологический прогресс происходит постепенно, медленно, складывается из множества небольших инноваций, которые, если смотреть со стороны, создают только иллюзию быстрого технологического прогресса.

Книга «Черты будущего» заставила нас осознать, что существует несколько чрезвычайно важных исключений. В заключительных главах Кларк излагает свои прогнозы на будущее, а в начальных — анализирует чужие предположения относительно таких технологий, как авиатехника, космические путешествия и ядерная энергетика, сделанные ещё до их изобретения. В каждом случае появление технологии было предсказано небольшой группой оптимистов, окружённых подавляющей массой респектабельных знатоков, которые утверждали, что того или иного коренного технологического прорыва достичь невозможно (по крайней мере в обозримом будущем). Как следствие, даже для большинства экспертов крупные технологические изменения становились большой неожиданностью.

Каким будет прогресс AI в долгосрочной перспективе? Будет ли технология развиваться по сценарию, легко предсказуемому на 5-10 лет вперёд, или же случится неожиданный и непомерный скачок, который мгновенно перевернёт мир? Книга заставляет поразмышлять над подобными вопросами.

Like this post? Please share to your friends: