принцип работы машинного обучения

Простыми словами: как работает машинное обучение

В последнее время все технологические компании твердят о машинном обучении. Мол, столько задач оно решает, которые раньше только люди и могли решить. Но как конкретно оно работает, никто не рассказывает. А кто-то даже для красного словца машинное обучение называет искусственным интеллектом.

Задача: отличить осмысленный текст от белиберды

Текст, который пишут настоящие люди, выглядит так:

Для человека задача кажется тривиальной, ведь сразу видно, где чистое, а где зловредное, но вот формализовать разницу или, тем более, объяснить ее компьютеру — уже сложнее. Мы используем машинное обучение: сначала дадим алгоритму примеры, он на них «обучится», а потом будет сам правильно отвечать, где что.

Алгоритм

Наш алгоритм будет считать, как часто в нормальном тексте одна конкретная буква следует за другой конкретной буквой. И так для каждой пары букв. Например, для первой чистой фразы — «Могу творить, могу и натворить!» — распределение получится такое:

Что получилось: за буквой в следует буква о — два раза, — а за буквой а следует буква т — один раз. Для простоты мы не учитываем знаки препинания и пробелы.

На этом этапе мы понимаем, что для обучения нашей модели одной фразы мало: и сочетаний недостаточное количество, и разница между частотой появления разных сочетаний не так велика. Поэтому надо взять какой-то существенно больший объем данных. Например, давайте посчитаем, какие сочетания букв встречаются в первом томе «Войны и мира»:

Разумеется, это не вся таблица сочетаний, а лишь ее малая часть. Оказывается, вероятность встретить «то» в два раза выше, чем «ен». А чтобы за буквой т следовало ж — такое встречается лишь один раз, в слове «отжившим».

Отлично, «модель» русского языка у нас теперь есть, как же ее использовать? Чтобы определить, насколько вероятно исследуемая нами строка чистая или зловредная, посчитаем ее «правдоподобность». Мы будем брать каждую пару букв из этой строки, определять по «модели» ее частоту (по сути реалистичность сочетания букв) и перемножать эти числа:

F(мо) * F(ог) * F(гу) * F(тв) *… = 2131 * 2943 * 474 * 1344 *… = правдоподобность

Также в финальном значении правдоподобности следует учесть количество символов в исследуемой строке — ведь чем она была длиннее, тем больше чисел мы перемножили. Поэтому из произведения извлечем корень нужной степени (длина строки минус один).

Использование модели

Теперь мы можем делать выводы: чем больше полученное число — тем правдоподобнее исследуемая строка ложится в нашу модель. Стало быть, тем больше вероятность, что ее писал человек, то есть она чистая.

Если же исследуемая строка содержит подозрительно большое количество крайне редких сочетаний букв (например, ёё, тж, ъь и так далее), то, скорее всего, она искусственная — зловредная.

Для строчек выше правдоподобность получилась следующая:

Чтобы не гадать, что такое «много», а что — «мало», лучше доверить определение порогового значения самой машине (пусть обучается). Для этого скормим ей некоторое количество чистых строк и посчитаем их правдоподобность, а потом скормим немного зловредных строк — и тоже посчитаем. И вычислим некоторое значение посередине, которое будет лучше всего отделять одни от других. В нашем случае получится что-то в районе 500.

В реальной жизни

Давайте осмыслим, что же у нас получилось.

1. Мы выделили признаки чистых строк, а именно пары символов.

В реальной жизни — при разработке настоящего антивируса — тоже выделяют признаки из файлов или других объектов. И это, кстати, самый важный шаг: от уровня экспертизы и опыта исследователей напрямую зависит качество выделяемых признаков. Понять, что же на самом деле важно — это все еще задача человека. Например, кто сказал, что надо использовать пары символов, а не тройки? Такие гипотезы как раз и проверяют в антивирусной лаборатории. Отмечу, что у нас для отбора наилучших и взаимодополняющих признаков тоже используется машинное обучение.

2. На основании выделенных признаков мы построили математическую модель и обучили ее на примерах.

Само собой, в реальной жизни мы используем модели чуть посложнее. Сейчас наилучшие результаты показывает ансамбль решающих деревьев, построенный методом Gradient boosting, но стремление к совершенству не позволяет нам успокоиться.

3. На основе математической модели мы посчитали рейтинг «правдоподобности».

В реальной жизни мы обычно считаем противоположный рейтинг — рейтинг вредоносности. Разница, казалось бы, несущественная, но угадайте, насколько неправдоподобной для нашей математической модели покажется строка на другом языке — или с другим алфавитом?
Антивирус не имеет права допустить ложное срабатывание на целом классе файлов только по той причине, что «мы его не проходили».

Альтернатива машинному обучению

20 лет назад, когда вредоносов было мало, каждую «белиберду» можно было просто задетектить с помощью сигнатур — характерных отрывков. Для примеров выше “сигнатуры” могли бы быть такими:

ОРПорыав аоырОрпаыор ОрОРАыдцуцзущгкгеуб ыватьыивдцулвдлоадузцщ
Йцхяь длваополц ыадолцлопиолым бамдлотдламда

Антивирус сканирует файл, если встретил «зущгкгеу», говорит: «Ну понятно, это белиберда номер 17». А если найдет «длотдламд» — то “белиберда номер 139”.

15 лет назад, когда вредоносов стало много, преобладать стало «дженерик»-детектирование. Вирусный аналитик пишет правила, что для осмысленных строк характерно:

И вот 10 лет назад, когда вредоносов стало ну просто очень много, начали робко внедряться алгоритмы машинного обучения. Поначалу по сложности они были сопоставимые с описанным нами простейшим примером, но мы активно нанимали специалистов и наращивали уровень экспертных знаний.

Сейчас без машинного обучения не работает ни один нормальный антивирус. Если оценивать вклад в защиту пользователей, то с методами на основе машинного обучения по статическим признакам могут посоперничать разве что методы на основе анализа поведения. Но только при анализе поведения тоже используется машинное обучение. В общем, без него уже никуда.

Недостатки

Преимущества понятны, но неужели это серебряная пуля, спросите вы. Не совсем. Этот метод хорошо справляется, если описанный выше алгоритм будет работать в облаке или в инфраструктуре, постоянно обучаясь на огромных количествах как чистых, так и вредоносных объектов.

Также очень хорошо, если за результатами обучения присматривает команда экспертов, вмешивающихся в тех случаях, когда без опытного человека не обойтись.

В этом случае недостатков действительно немного, а по большому счету только один — нужна эта дорогостоящая инфраструктура и не менее дорогостоящая команда специалистов.

Другое дело, когда кто-то пытается радикально сэкономить и использовать только математическую модель и только на стороне продукта, прямо у клиента. Тогда могут начаться трудности.

1. Ложные срабатывания.

Детектирование на базе машинного обучения — это всегда поиск баланса между уровнем детектирования и уровнем ложных срабатываний. И если нам захочется детектировать побольше, то ложные срабатывания будут. В случае машинного обучения они будут возникать в непредсказуемых и зачастую труднообъяснимых местах. Например, эта чистая строка — «Мцыри и Мкртчян» — распознается как неправдоподобная: 145 баллов в модели из нашего примера. Поэтому очень важно, чтобы антивирусная лаборатория имела обширную коллекцию чистых файлов для обучения и тестирования модели.

Злоумышленник может разобрать такой продукт и посмотреть, как работает модель. Он человек и пока, если не умнее, то хотя бы креативнее машины — поэтому он подстроится. Например, следующая строка считается чистой (1200 баллов), хотя ее первая половина явно вредоносная: «лоыралоыврачигшуралорыловарДобавляем в конец много осмысленного текста, чтобы обмануть машину». Какой бы умный алгоритм ни использовался, его всегда может обойти человек (достаточно умный). Поэтому антивирусная лаборатория обязана иметь продвинутую инфраструктуру для быстрой реакции на новые угрозы.

Один из примеров обхода описанного нами выше метода: все слова выглядят правдоподобно, но на самом деле это бессмыслица. Источник.

3. Обновление модели.

На примере описанного выше алгоритма мы упоминали, что модель, обученная на русских текстах, будет непригодна для анализа текстов с другим алфавитом. А вредоносные файлы, с учетом креативности злоумышленников (смотри предыдущий пункт) — это как будто постепенно эволюционирующий алфавит. Ландшафт угроз меняется довольно быстро. Мы за долгие годы исследований выработали оптимальный подход к постепенному обновлению модели прямо в антивирусных базах. Это позволяет дообучать и даже полностью переобучать модель «без отрыва от производства».

Заключение

Все в антивирусе должно быть прекрасно — и поведенческий анализ, и облачная защита, и алгоритмы машинного обучения, и многое-многое другое. Но об этом “многом другом” — в следующий раз.

Источник

Machine Learning – не только нейронки

Нейронные сети и глубокое обучение (deep learning) у всех на слуху, но нейросети – это лишь подобласть такого обширного предмета, как машинное обучение (machine learning). Существует несколько сотен других алгоритмов, которые способны быстро и эффективно решать задачи искусственного интеллекта и в большинстве случаев являются более интерпретируемыми для человека. В этой статье рассмотрим алгоритмы классического машинного обучения, принцип работы нейросетей, подготовку данных для обучения моделей и задачи, которые решают с помощью искусственного интеллекта.

Основные задачи машинного обучения

Восстановление регрессии (прогнозирования) – построение модели, способной предсказывать численную величину на основе набора признаков объекта.

Классификация – определение категории объекта на основе его признаков.

Кластеризация – распределение объектов.

Допустим, есть набор данных со статистикой по приложениям. В нем есть следующие сведения: размер, категория, количество скачиваний, количество отзывов, рейтинг, возрастной рейтинг, жанр и цена. С помощью этого набора данных и машинного обучения можно решить такие задачи:

Прогнозирование рейтинга приложения на основе признаков: размер, категория, возрастной рейтинг, жанр и цена – задача регрессии.

Определение категории приложения на основе набора признаков: размер, возрастной рейтинг, жанр и цена – задача классификации.

Разбиение приложений на группы на основании множества признаков (например, количество отзывов, скачиваний, рейтинга) таким образом, чтобы приложения внутри группы были более похожи друг на друга, чем приложения разных групп.

Нейронные сети (многослойный перцептрон)

Существует мнение, что лучшие идеи для изобретений человек заимствует у природы. Нейронные сети – это именно тот случай, ведь сама концепция нейросетей базируется на функциональных особенностях головного мозга.

Принцип работы

Есть определенное количество нейронов, которые между собой связаны и взаимодействуют друг с другом путем передачи сигналов. Также есть рецепторы, которые получают информацию, поступающую извне, и исполнительный орган, на который приходит итоговый сигнал. По схожему принципу работают искусственные нейросети: есть несколько слоев с нейронами и связи между ними (каждая связь имеет свой весовой коэффициент). По связям передаются сигналы в виде численных значений, первый слой выполняет собой роль рецепторов, то есть получает набор признаков для обучения, и есть выходной слой, который выдает ответ.

Нейронные связи в головном мозге («Создаем нейронную сеть», Тарик Рашид) Пример искусственной трехслойной нейросети («Создаем нейронную сеть», Тарик Рашид)

Каждый слой нейросети оперирует разными представлениями о данных. На рисунке ниже можно увидеть пример использованиям глубокого обучения (нейросети) для распознавания образа на картинке. На входной слой нам поступают пиксели изображений, далее после вычислений между входным и первым скрытым слоем мы получаем границы, на втором скрытом слое – контуры, на третьем – части объектов, на выходном – вероятности принадлежности изображения к каждому типу объектов.

Пример использования нейросети для распознавания образа ( «Глубокое обучение», Ян Гудфеллоу)

Как настраивать

Настраивается путем задания количества узлов, скрытых слоев и выбора функции активации. В искусственных нейронных сетях функция активации нейрона отвечает за выходной сигнал, который определяется входным сигналом или набором входных сигналов.

Задачи: классификация, регрессия, кластеризация.

Классические алгоритмы машинного обучения

K-ближайших соседей

Метод K-ближайших соседей – простой и эффективный алгоритм, его можно описать известной поговоркой: “Скажи мне, кто твой друг, и я скажу, кто ты”.

Принцип работы

Пусть имеется набор данных с заданными классами. Мы можем определить класс неизвестного объекта, если рассмотрим определенное количество ближайших объектов (k) и присвоим тот класс, который имеет большинство “соседей”. Посмотрим на рисунок ниже.

Есть набор точек с двумя классами: синие крестики и красные кружки. Мы хотим определить, к какому классу относится неизвестная зеленая точка. Для этого мы берем k ближайших соседей, в данном случае 3, и смотрим, к каким классам они относятся. Из трех ближайших соседей больше оказалось синих крестиков, соответственно, мы можем предположить, что зеленая точка также, скорее всего, относится к этому классу.

Как настраивать

Необходимо подобрать параметр k (количество ближайших соседей) и метрику для измерения расстояний между объектами.

Задачи: классификация, также может применяться и для задач регрессии.

Линейная регрессия

Линейная регрессия – простая и эффективная модель машинного обучения, способная решать задачи быстро и недорого.

Принцип работы

Модель линейной регрессии можно описать уравнением

Здесь x – это значения признаков, y – целевая переменная, a – весовые коэффициенты признаков. При обучении модели весовые коэффициенты подбираются таким образом, чтобы как можно лучше описывалась линейная зависимость признаков от целевой переменной.

Пример: задача предсказания стоимости квартиры в зависимости от площади и удаленности от метро в минутах. Целевой переменной (y) будет являться стоимость, а признаками (x) – площадь и удаленность.

На рисунке ниже также представлен пример построения линейной регрессии. Красная прямая более точно описывает линейную зависимость x от y.

Как настраивать

Для многих моделей Machine Learning, в частности и для линейной регрессии, можно улучшить итоговое качество с помощью регуляризации.

Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение, то есть ситуацию, когда модель хорошо показывает себя на тренировочный данных, но перестаёт работать на новых.

Распространенные методы регуляризации для повышения качества модели линейной регрессии:

Ridge — один из методов понижения размерности. Применяется для борьбы с переизбыточностью данных, когда независимые переменные коррелируют друг с другом (мультиколлинеарность), вследствие чего проявляется неустойчивость оценок коэффициентов линейной регрессии.

LASSO — также как и Ridge, применяется для борьбы с переизбыточностью данных.

Elastic-Net — модель регрессии с двумя регуляризаторами L1, L2. Частными случаями являются модели LASSO L1 = 0 и Ridge регрессии L2 = 0.

Задачи: регрессия.

Логистическая регрессия

Логистическая регрессия – также простая и эффективная модель машинного обучения, способная решать задачи быстро и недорого.

Принцип работы

Указанная выше сумма проходит через функцию сигмоиды, которая возвращает число от 0 до 1, характеризующее вероятность отнесения объекта к классу 1. Пример: логистическую регрессию часто применяют в задачах кредитного скоринга, когда по определенным данным о клиенте нужно определить, стоит ли выдавать ему кредит.

Иллюстрация алгоритмов линейной и логистической регрессии (источник)

Как настраивать

Задачи: классификация.

Метод опорных векторов (SVM)

Принцип работы

Чтобы лучше всего понять алгоритм метода опорных векторов, рассмотрим рисунок. На рисунке приведен пример двух линейно разделимых классов в двумерном пространстве. Идея алгоритма заключается в нахождении оптимальной разделяющей прямой (или гиперплоскости для более высоких пространств) для отделения объектов одного класса от другого. Пунктирные линии выделяют разделяющую полосу и проводятся через объекты, которые называют опорными. Чем шире разделяющая полоса, тем качественнее модель SVM. Чтобы определить класс объекта, достаточно определить, с какой стороны гиперплоскости он находится.

Как настраивать

Необходимо подобрать оптимальное ядро (функцию переводящую признаковое пространство в более высокую размерность), если линейная зависимость слабо выражена.

Задачи: классификация и регрессия.

Сравнение классических алгоритмов с нейросетью

Для примера мы взяли датасет со статистикой приложений в Play Market. Датасет содержит следующие данные: размер приложения, возрастной рейтинг, количество скачиваний, жанр, категория и др. На данном датасете были обучены модели: линейная регрессия, метод опорных векторов, нейронная сеть (многослойный перцептрон).

В ходе экспериментов были подобраны следующие параметры для моделей машинного обучения:

Линейная регрессия – модели линейной регрессии с регуляризацией не показали результат, превосходящий качество классической линейной регрессии.

Метод опорных векторов – модель метода опорных векторов с RBF-ядром показала лучший результат по сравнению с другими ядрами.

Многослойный перцептрон – оптимальный результат показала модель с 4 слоями, 300 нейронами и функций активацией ReLu. При попытках увеличить количество слоев и нейронов прирост качества не наблюдался.

Решена задача прогнозирования потенциального рейтинга приложения в зависимости от его признаков.

Результаты ошибки среднего отклонения от истинного значения целевой переменной в процентах для каждой модели:

Линейная регрессия – 6.13 %

Метод опорных векторов – 6.01%

Нейронная сеть – 6.41%

Таким образом, классические алгоритмы машинного обучения и нейросети показали приблизительно одинаковое качество. Это связано с тем, что нейросети хорошо обучаются на датасетах с большим размером и обычно применяются для решения задач, где зависимость в данных очень сложна. Поэтому для решения данной задачи можно обойтись применением классических алгоритмов и не прибегать к использованию нейросетей.

На гистограмме ниже представлены итоговые весовые коэффициенты a, полученные при обучении модели линейной регрессии. Чем больше столбик, тем выше влияние признака на целевую переменную. Если столбик направлен вверх, то он оказывает положительное влияние на рост целевой переменной, если вниз – то отрицательное. Другими словами, если приложение имеет жанр “Other” или “Tools”, то, скорее всего, его рейтинг будет высоким, а если у него категория “FAMILY” или “GAME” – то, вероятно, низким. Данная интерпретация весовых коэффициентов линейной регрессии бывает очень полезной при анализе данных.

Гистограмма значений коэффициентов линейной регрессии

Больше наших статей по машинному обучению и обработке изображений:

Источник

Машинное обучение: типы, краткая история и принцип работы

За последние несколько лет машинное обучение сделало прорыв, облегчив некоторые рутинные обязанности людей. Однако не все до конца понимают, что это такое и по какому принципу работает, хотя сталкиваются с результатом процесса каждый день. Работа некоторых приложений и программ в гаджетах и девайсах налажена благодаря данной технологии. Яркие примеры – Siri и Алиса.

В будущем машинное обучение будет только развиваться, открывая новые возможности для человечества. Это огромные перспективы, и было бы глупо не прыгнуть в этот круговорот, получив определенные знания. Тем более, что специалист по машинному обучению уже сегодня получает около 200 тысяч рублей. Освоить эту профессию можно за несколько лет, а работать начать еще раньше. Что предстоит изучить, какими инструментами пользоваться и куда идти учиться, мы расскажем ниже.

Что такое машинное обучение

На данный момент не существует общепринятого определения понятия «машинное обучение» (machine learning, ML). Хотя в большинстве случаев данный термин определяется специалистами вполне конкретно.

Машинное обучение представляет собой научную дисциплину, главная задача которой — научить искусственный интеллект на основе предоставляемой ему информации об окружающем мире самостоятельно принимать решения, самообучаться и постоянно совершенствоваться в своем самообучении.

Крупные представители мировой IT-индустрии, а также именитые исследовательские компании так трактуют суть ML:

В целом можно сказать про машинное обучение, что это часть науки об искусственном интеллекте, а нейронные сети являются в свою очередь одной из разновидностей ML.

Краткая история машинного обучения

Работа первых компьютеров изначально основывалась на выполнении программ, заранее известных человеку. Лишь недавно специалисты пришли к выводу, что вычислительная техника способна решать задачи, для которых не существует четкого алгоритма или же этот алгоритм неизвестен. Данное понимание привело к появлению искусственного интеллекта и машинного обучения в частности.

Ваш Путь в IT начинается здесь

Задачи, решаемые машинным обучением сегодня

Спектр задач, решаемых средствами искусственного интеллекта, весьма широк: анализ информации и ее запоминание, прогнозирование процессов, воспроизведение готовых моделей и выбор наиболее подходящих из них.

С использованием больших данных и машинного обучения, например, компания «Леруа Мерлен» осуществляет поиск остатков продукции на складах.

Выдача персональных рекомендаций пользователям мобильных приложений и сервисов возможна также благодаря внедрению машинного обучения в маркетинг и интернет-бизнес. Например, в стриминговом сервисе Spotify для каждого активного слушателя на основе прослушанной музыки составляется персональная подборка.

Китайские пылесосы Ecovacs Robotics, например, обучаются на множестве фотографий самостоятельно находить мелкие посторонние предметы на своем пути. Функция распознавания улыбок встроена в «умные» камеры на базе Raspberry Pi 3B+. С помощью фреймворка TensorFlow Light эта функция самостоятельно делает снимок точно в нужный момент. Данные камеры также могут выполнять голосовые команды.

Машинное обучение и анализ данных активно используются в области инвестиций. В частности, искусственный интеллект помогает отслеживать рыночную ситуацию и выбирать наиболее выгодную в данный момент операцию с активами. Предикативная аналитика позволяет прогнозировать изменение стоимости определенных акций за конкретный временной период. На основе этого система подстраивается под изменившиеся важные события, корректируя данные.

Благодаря технологиям машинного обучения в науке происходят настоящие открытия. Так, компания DeepMind в 2020 году создала нейронную сеть AlphaFold, расшифровавшую в итоге механизм сворачивания белка. Загадку, над решением которой ученые трудились более полувека, смог разгадать искусственный интеллект.

Принцип работы машинного обучения

Все методы машинного обучения работают по одному общему принципу.

Существует множество однотипных задач с известными условиями и набором правильных результатов. Возьмем к примеру машинный перевод. Здесь входными данными является слово или фраза на одном языке, а ожидаемым ответом — перевод этого слова или фразы на другой язык.

Схематически глубинную нейронную сеть можно представить в виде «черного ящика», на вход которого подается некое условие задачи, а на выходе принимается произвольный результат. В примере это текст на втором языке.

Принцип работы машинного обучения

Нейросети назначают дополнительные параметры, влияющие на характер обработки входного сигнала. Суть обучения «черного ящика» состоит в последовательном поиске значений указанных параметров, при которых обеспечивается максимальное сближение выдаваемого ответа с правильным. Настройка дополнительных переменных может обеспечить максимально верные решения подобных задач, даже если нейросеть не сталкивалась с ними ранее.

Итак, для работы нейронной сети потребуется предоставить:

Сюда входит любая информация, которая может помочь нейросети обучаться: статистические данные, примеры решений, исторические сведения и т. д. На сбор всех этих данных уходят годы, в течение которых формируются массивы данных (датасеты). Последние имеются у всех крупных IT-компаний. Наиболее известный пример сбора таких сведений — ввод пользователями капчи, заключающийся в выборе фотографий, например, с автомобилями. Выбранные варианты сохраняются в базу как правильные ответы.

Данные параметры должны учитываться нейросетью в процессе самообучения. В числе таких признаков можно назвать стоимость акций, картинки животных, частоту слов, пол человека. Процесс обучения пойдет быстрее, если минимизировать количество характеристик и одновременно повысить четкость их описания. Тем не менее, достаточно сложные задачи требуют ввода в модели нескольких миллионов параметров для определения вариантов преобразования входов в выходы.

Алгоритмы задают способы решения поставленной задачи, и этих способов для одной задачи может быть несколько. Необходимо определить из них наиболее точный и эффективный.

2 типа машинного обучения

Все виды машинного обучения могут быть двух типов:

Последний тип является частью экспертных систем, поэтому под понятием машинного обучения чаще всего подразумевается именно обучение по прецедентам (обучающей выборке). Эта выборка представляет собой наборы соответствующих друг другу входов и выходов. Четкая и однозначная закономерность между входными данными для машинного обучения и их результатами при этом отсутствует. В качестве примера возьмем метеопрогноз. Какую погоду стоит ждать завтра, если вся прошедшая неделя была морозной, безветренной и солнечной?

Для прогнозирования здесь потребуются дополнительные параметры: географические координаты, рельеф данной территории, текущие климатические особенности и т. п. Далее создается алгоритм, обеспечивающий выдачу достаточно точного результата вне зависимости от того, что подается на вход.

Для регулировки точности выходного сигнала пользуются оценочным функционалом качества. Результат формируется эмпирическим путем с учетом накопленного опыта. В процессе обучения система должна уметь обобщать входные данные, адекватно реагируя на них при выходе этих данных за пределы обучающей выборки. Входная информация на практике бывает неточной, неполной или разнородной.

Далее рассмотрим три метода машинного обучения: с учителем, без учителя и глубокое.

Машинное обучение с учителем

В качестве примера возьмем данные об учениках школы, включая школьные успехи учащихся. Будет анализироваться склонность школьников к определенным дисциплинам.

Учитель здесь вносит данные в систему. К примеру, получилась такая таблица:

Применение машинного обучения позволит установить закономерности между данными из таблицы и в итоге сориентировать каждого ученика в профессиональном плане. К примеру, у Ксении превосходная успеваемость по литературе, а также гуманитарный склад ума. На основании этого компьютер предполагает, что наилучший выбор для нее — поступление на филологический факультет. Виктор более склонен к техническим наукам, в частности к черчению. Поэтому ему имеет смысл обратить свое внимание на направление инженера-проектировщика.

Итак, в компьютер заносится следующий вводный массив: пол учеников, их возраст, IQ и склад ума, класс, в котором они учатся. Кроме того, учитель предоставляет машине данные об успеваемости, подразумевая, что эта информация влияет на выбор профессии, и ожидая от машины ответ, почему она оказывает такое влияние.

И еще один пример машинного обучения и нейронных сетей с учителем — распознавание объектов на фотографиях. Программа изучает огромное количество фотографий с описанием изображенных на них деревьев или облаков и учится давать описания самостоятельно на основе общих черт данных объектов.

Нейросеть, распознающую объекты, полезно использовать в беспилотных автомобилях. Датчики беспилотника собирают информацию и передают ее пользователю, который, например, отмечает автотранспорт на снимках.

Машинное обучение без учителя

Высокую эффективность машинного обучения дает обучение на играх. В простейшем примере это игра «Змейка». Программе дается информация, насколько далеко от змейки находятся препятствия. В соответствии с этими данными выбирается наилучший маршрут движения.

Снова вернемся к примеру с профессиональной ориентацией школьников. Получив данные о школьниках и их успеваемости, нейросеть сначала не видит какой-либо взаимосвязи между этими данными.

Подобный подход применяется в случаях, связанных с неочевидными решениями. В маркетинге, например, искусственный интеллект не сможет предугадать нелогичность предложения похожего товара, в котором клиент не нуждается, даже если это сулит прибыль.

Нейросети могут работать в паре в процессе машинного обучения. Работа осуществляется в так называемой генеративно-состязательной сети (GAN), состоящей из двух отдельных сетей — G и D. Первая отвечает за генерацию образцов на основе реальных картинок, вторая пробует отсеивать неправильные образцы и оставлять правильные.

Данная технология используется в частности компанией Facebook для создания фотографий, неотличимых от реальных, для восстановления поврежденных изображений и для повышения четкости фотографий.

Глубокое машинное обучение

Здесь используется анализ больших данных. Обучаться сети также могут как с учителем, так и без него. Для Big Data характерны огромные размеры, обработка такого массива требует как минимум два компьютера. По этой причине в глубоком обучении обязательно используются нейросети.

При этом одна крупная задача разбивается на несколько мелких, которые отдаются на исполнение другим устройствам. К примеру, собранная одним процессором информация пересылается двум другим, которые анализируют полученные данные и далее отправляют на обработку следующим четырем и так далее.

Глубокое машинное обучение

Например, процесс распознавания объектов состоит из следующих этапов:

Итак, в полученном изображении нейронная сеть видит сначала точки, затем линии, окружности, треугольники, прямоугольники. Далее из фигур выстраивается уже полноценная картинка.

Задачи машинного обучения могут быть самыми неожиданными. Например, создана нейронная сеть по имени Норман для изучения контента сервиса Reddit с целью выявления откровенных и жестких фотографий и жутких историй. Этой же нейросети было предложено пройти тест Роршаха. Результаты получились весьма любопытные.

Норман определял в показываемых картинках исключительно образы убитых самыми разными способами людей, тогда как другие нейросети видели в этих же изображениях животных, растения и зонты.

Этот опыт говорит о важности информации, получаемой программой на первых этапах. Норману же предстоит курс «лечения», над которым работают специалисты.

Подобная ситуация случилась с чат-ботом Тау. В ходе общения с пользователями Twitter данная нейросеть от Microsoft научилась оскорблять людей, используя в том числе нацистские и ксенофобские высказывания. Бота впоследствии пришлось заблокировать.

Специалисты по машинному обучению

С искусственным интеллектом работают исследователи данных (Data Scientists). В процессе своей работы эти специалисты всесторонне изучают данные, стараясь находить в их взаимодействии какие-то зависимости и связи, полезные для потенциальных заказчиков.

Приведем более простой пример. Имеется форма на сайте, где пользователю нужно указать среди прочего имя и пол. Можно обучить систему автоматически определять половую принадлежность на основании имени, которое вводит посетитель.

Для обучения, например, используется большая база данных пользователей соцсетей и определяется, что подавляющее большинство пользователей с именем Сергей являются мужчинами. Эта закономерность затем внедряется в алгоритм.

Разберем основные сложности и интересные моменты в профессии эксперта по работе с данными.

Многие опытные специалисты говорят, что работа привлекает их в первую очередь возможностью открывать для себя новую информацию, изучать неочевидные закономерности, искать способы монетизации этих взаимосвязей.

Один из преподавателей по основам машинного обучения поделился собственным опытом. Однажды он изучал статистику продаж алкоголя в московских магазинах. Как и ожидалось, количество реализованной продукции резко возрастало к выходным. Но также наблюдался всплеск продаж во вторник.

Анализируя эту ситуацию, специалист выяснил, что каждый понедельник небольшие торговые точки Подмосковья подводят итоги прошедшей недели и планируют задачи на следующую неделю. По вторникам же происходит массовая закупка спиртного у более крупных ритейлеров Москвы, чем и объясняется резкий пик продаж в московских магазинах в этот день недели.

Экспертам по работе с искусственным интеллектом будут помогать их природная дотошность, усидчивость и постоянное желание разбираться в причинах и следствиях. Данная деятельность подойдет людям, обладающим техническим складом ума, настойчивым в достижении своих целей, готовым трудиться в поисках истины. Дополнительным бонусом будет развитое предпринимательское мышление.

Инструменты специалиста машинного обучения

Здесь разберем основной набор инструментов, которые используются в работе специалистами по ML.

Сначала собираются и классифицируются данные. Далее строится модель, выполняются анализ и проверка всех гипотез. Запуском построенной модели специалист проверяет, каким образом она взаимодействует с данными. После этого начинается разработка кода алгоритма.

Инструменты специалиста машинного обучения

Основные средства разработчика на данном этапе машинного обучения — Python, Jupyter Notebook, некоторые популярные библиотеки. При необходимости могут использоваться другие языки программирования. Среда разработки Jupyter Notebook позволяет визуализировать данные, представлять их в интерактивном виде. При этом на экран выводятся соответствующие математические уравнения.

Зарплата junior-специалиста и senior

Новички, изучившие пособия типа «Машинное обучение для чайников», изначально стараются действовать четко по правилам и инструкциям. К примеру, перед начинающим специалистом стоит задача классифицировать текст. Он начнет строить модель конкретно для классификации. Профессионал с большим опытом работы сперва увидит глобальную бизнес-задачу, обозначит конечную цель и затем уже отталкиваясь от этого сформулирует наименее затратные пути достижения этой задачи. В некоторых случаях потребуется и полное изменение поставленной цели, если это обеспечит для бизнеса лучший результат.

Начинающий Junior становится Senior-специалистом в среднем за 5-7 лет. Зарплата «джуниоров» начинается с 80 тысяч рублей, тогда как «миддлы» зарабатывают в районе 120-180 тысяч в месяц. Специалисты более высокого уровня имеют месячный заработок от 200 тысяч рублей. Спрос на эти вакансии только растет, так как все большее количество компаний осознает ценность дорогих специалистов, способных значительно сократить издержки бизнеса.

В прежние времена инженеры Data Science требовались главным образом в столичных компаниях. Теперь же метрики машинного обучения активно внедряются во всех городах страны, где есть крупные технологические предприятия. Соответственно, спрос на специалистов по ML растет и там. Случившаяся в мире пандемия только сильнее поспособствовала росту числа вакансий на удаленную работу. Привлекаемые специалисты также работают на проектной основе, внедряя те или иные нововведения в технологию и сервис.

Преимущества курса GeekUniversity по машинному обучению

Обновленный курс отличается от предыдущих вариантов в основном акцентированием внимания на бизнесе. Этим же GeekUniversity выделяется на фоне продуктов от конкурентов. Большая часть программ сегодня ориентирована на исследования и моделирование. Однако именно знание способов интеграции и понимание конкретной пользы для бизнеса делают специалиста по искусственному интеллекту более востребованным.

Все элементы курсов, включая введение в машинное обучение, а также сама их структура и последовательность учитывают текущие реалии. Разделы, посвященные непосредственно программированию, существенно увеличены в объеме.

Все семь модулей программы объединены в четыре тематических блока.

Первый блок. Служит для структурирования имеющихся у студентов знаний по математике, ведь сама изучаемая дисциплина находится на стыке математических, инженерных наук и программирования. Поэтому на данном этапе крайне важно овладеть теоретической частью и научиться находить закономерности, определять вероятности.

Второй блок. Здесь студенты развивают алгоритмическое мышление, в том числе изучают программирование на языке Python. Это позволит будущим специалистам грамотно распределять нагрузку вычислительных мощностей, структурно мыслить и легко взаимодействовать с разработчиками программ.

Третий блок. Посвящен непосредственно машинному обучению. Уроки курса позволяют в дальнейшем работать и без ML, однако данный материал существенно облегчит построение и запуск моделей, избавит от необходимости выполнять множество рутинных действий. С этими знаниями работа с данными будет осуществляться в полуавтоматическом режиме.

Четвертый блок. В заключительной части студенты используют полученные знания на практике, интегрируя их в реальные бизнес-задачи — учатся внедрять собственные разработки в экономику заказчика, находить источники данных и разметки, общаться с бизнесменами на одном языке, корректировать модели на основе новых исходных данных.

Обучение имеет формат вебинаров, проходящих несколько раз в неделю, с обязательными домашними заданиями в умеренных объемах. В ходе прохождения курса каждый студент должен подготовить и защитить два проекта, используя реальные данные. Практическая часть дает возможность восполнить пробелы знаниях, недополученных в процессе изучения теории.

Приветствуется самостоятельный выбор студентом темы проекта. На базе разработанной модели будущий специалист может создать микросервис, предоставляющий услуги условным клиентам. Эта модель затем служит основой для портфолио.

Чтобы обучаться на курсах от GeekBrains, абитуриентам нужно хорошо знать линейную алгебру и математический анализ. Преимуществом будет опыт в программировании.

Длительность полного курса обучения составляет 1,5 года. Выпускник затем может занять должность специалиста по Data Science, Data Analysis, Machine Learning или NLP.

Искусственный интеллект уже прочно занял свою нишу в современной жизни. Об этом говорит и устойчивый рост новых стартапов, использующих машинное обучение. Эта отрасль способна коренным образом повлиять на мировой бизнес и развитие целых государств. И сегодня лучшее время, чтобы получить востребованную и высокооплачиваемую профессию специалиста по Data Science.

Источник