обучение программированию искусственного интеллекта
Как программисту стать специалистом по искусственному интеллекту
Авторизуйтесь
Как программисту стать специалистом по искусственному интеллекту
Рассказывает CTO в LoyaltyLab и
спикер курсов Binary District
Александр Кондрашкин
CTO в LoyaltyLab и спикер курсов Binary District Александр Кондрашкин составил поэтапный гид по изучению AI. Александр утверждает: «Вокруг машинного обучения сформировался ореол дикой сложности. Это так, если вы хотите делать открытия, разрабатывать новые алгоритмы и войти в историю науки, но если просто применять известные решения на практике — порог входа вовсе не большой». Практически все программисты обладают необходимой базой для построения карьеры специалиста по искусственному интеллекту.
Что нужно для старта
Абстрактное мышление
Машинное обучение вращается вокруг поиска закономерностей в данных. Data Scientist посвящает куда больше времени генерации гипотез, подготовке и проведению бесконечных экспериментов над массивами данных, чем проектированию архитектур сервисов и их отладке. В сознании специалиста дороги и перекрестки Яндекс.Карт превращаются в графы, а статистика по снятиям наличных в банкоматах — во временной ряд в аналитической системе. Без навыка представления обыденных вещей в абстрактном виде тут не обойтись.
Общая грамотность в математических дисциплинах
Карьера в машинном обучении требует общей грамотности в математических дисциплинах. Теория вероятности, линейная алгебра, математический анализ — предметы, которые преподают на первом курсе любой технической специальности — ещё один краеугольный камень Data Science.
Знание Python и основ backend-разработки
Третий базовый навык — программирование. Большую часть работы по Machine Learning выполняют на Python, но знание любого языка ускорит обучение.
На этапе работы с подготовленными моделями пригодятся навыки backend-разработки. Даже с поверхностными знаниями в этой области нейронную сеть куда легче превратить в удобный для использования микросервис.
Если у вас уже есть эта база, можно смело отправляться учить машины.
С чего начать
Путь будущего специалиста по Machine Learning отчасти повторяет историю развития отрасли и начинается с классических алгоритмов обучения с учителем и без, созданных ещё в прошлом веке.
Для начала годится и байесовский классификатор, и линейная регрессия, и деревья решений — простые, интуитивно понятные методы автоматической сортировки объектов. В отличие от капризных нейросетей, от них проще добиться положительной обратной связи, увидеть: «Ух ты, машинное обучение и правда работает!» — и получить мотивацию разбираться в теме дальше.
Через два-три месяца изучения основ синтаксиса и классических алгоритмов самое время перейти к нейронным сетям простой архитектуры — однослойным перцептронам. Следующий логичный шаг — заставить работать многослойную нейронную сеть, а после стоит обратить внимание на обучение с подкреплением.
Как, где и на чём учиться
Чтобы освоить базовые методы, из оборудования достаточно надёжного ноутбука с доступом в интернет. Начинающим редко требуется по-настоящему быстрое железо, а на крайний случай остаются сервисы Google, Amazon, Microsoft и других облачных провайдеров, сдающих мощности в аренду.
Курсы и тренинги
На образовательных площадках в сети опубликовано множество комплексных учебных программ на английском и русском языках.
Практические задачи
Практиковаться можно и на самостоятельно придуманных задачах, но для учёбы такие эксперименты неэффективны. На то, чтобы собрать данные через API, очистить их и подготовить, уйдёт огромное количество времени и сил, которые можно потратить на усвоение знаний. Гораздо удобнее, когда всё придумано и сделано до вас. На образовательной платформе Kaggle публикуются задачи по машинному обучению с подробным описанием, заранее определёнными условиями и подготовленными датасетами.
Например, ставшие классикой задачи по предсказанию выживаемости пассажиров Титаника или цен на недвижимость в городе Эймс, штат Айова помогут досконально разобраться в классификации и регрессии, а распознавание рукописных цифр позволит погрузиться в работу с картинками через классическую проблему.
Что делать дальше
Стартовав почти с нулевого уровня, через полгода вполне реально устроиться на стажировку, а вскоре и на работу. Освоить нейросети сложных архитектур и ансамбли на рабочих задачах при поддержке коллег будет не так сложно, как в одиночку.
Впрочем, это не единственный способ проверить приобретённые навыки в бою. Если в вашей компании собрано достаточно много данных, стоит развивать культуру машинного обучения внутри, извлекать из баз дополнительную пользу и, вполне возможно, деньги.
Практикуйтесь, читайте, экспериментируйте и делитесь опытом — потолка в этой сфере нет. Дальнейший профессиональный рост в Data Science — результат ежедневного труда, следствие усложнения задач, общения с коллегами, участия в конференциях и погружения в бизнес-метрики. Любую модель можно сделать ещё немного лучше, но со временем придёт понимание того, когда дополнительный процент точности не стоит затраченных усилий и не принесёт пользы компании.
Конечно, ИИ не решит все проблемы человечества, и не отберёт у программистов работу. Но уже сейчас машинное обучение открывает широкие возможности, технологические и профессиональные перспективы.
21 канал на YouTube, где вы можете бесплатно изучить ИИ, машинное обучение и Data Science
Мы уже не раз делились в своем блоге полезными материалами для развития (их список можно найти в конце этого поста). Сегодня продолжаем это начинание и специально перед стартом новых потоков курсов по Data Analytics и Data Science представляем подборку YT-каналов по Data Science, искусственному интеллекту и машинному обучению, существование многих из которых неочевидно: например, представлен канал ArXiv Insights, посвящённый научным работам, и Google Cloud Platform.
Пока пандемия удерживает нас дома, удалёнка стала новой нормой для многих из нас. И хотя сейчас трудно найти стоящий тренинг, это не значит, что мы должны перестать учиться. Можно сказать, что наступил идеальный момент, чтобы чему-нибудь научиться. Почему бы не посвятить остаток этого сумасшедшего 2020 года изучению ИИ, программирования на Python, ML и DS? Такие рабочие роли, как аналитики данных, специалисты по машинному обучению, робототехнической инженерии, цифровой трансформации, являются лидерами в дальнейшем будущем. Это расширяющаяся область знаний, которая играет огромную роль в жизни общества.
SpringBoard
Этот канал публикует интервью с дата-сайентистами из больших компаний, подобных Google, Uber, Airbnb и т. д. Из этих видео вы получите представление о том, что значит быть дата-сайентистом, и ценные жизненные советы.
Arxiv Insights
Ксандер Стинбрюгге — исследователь машинного обучения в ML6. Его канал — резюме критически важных вопросов ML, где обучают с подкреплением искусственного интеллекта, в основном с технической точки зрения, делая их доступными для широкой аудитории.
Machine Learning 101
Новый канал ML Youtube, о котором должен знать каждый. Machine Learning 101 публикует объяснение начальных понятий в области искусственного интеллекта. Кроме того, канал публикует подкасты с экспертами Data Science, работающими в коммерческих индустриях.
FreeCodeCamp
FreeCodeCamp — невероятная некоммерческая организация. Это опенсорс сообщество, предлагающее коллекцию ресурсов, которые помогают людям научиться программировать бесплатно, через создание проектов.
Data School
Кевин Маркхем записывает понятные YouTube туториалы. Data School с самого начала фокусируется на темах, которые вам нужно изучить, чтобы стать дата-сайентистом, и предлагает углубленные туториалы, понятные вне зависимости от вашего образования.
Machine Learning TV
ML TV — ресурс для студентов и энтузиастов, созданный, чтобы вы лучше понимали ML.
Giant Neural Network
Этот канал YouTube направлен на то, чтобы сделать машинное обучение и обучение с подкреплением доступнее для всех. Вы найдете 12 плейлистов — это исчерпывающее введение в нейронные сети для начинающих, и, похоже, следующие ролики о нейронных сетях сейчас снимаются.
Андреас Крец
Андреас Крец — дата-инженер и основатель компании Plumbers of Data Science. Он транслирует на своем канале понятные программы о том, как получить практический опыт в области разработки данных, а также видео с вопросами и ответами о разработке данных с помощью Hadoop, Kafka, Spark и не только.
Edureka!
Edureka — это платформа с туториалами и руководствами на актуальные темы в области больших данных, Hadoop, DevOps, блокчейна, искусственного интеллекта, Angular, Data Science, Apache Spark, Python, Selenium, Tableau, Android, сертификации PMP, архитектуры AWS, digital-маркетинга и многого другого.
Эндрю Ын
Эндрю Ын был назван одним из 100 самых влиятельных людей, по версии Time, в 2012 году и самой культовой личностью, по версии Fast Company. Он — один из основателей Coursera и deeplearning.ai, вице-президент и главный научный сотрудник Baidu, а также адъюнкт-профессор Стэнфордского университета.
Deeplearning.ai
На официальном канале Deep Learning AI есть видеоуроки из специализации глубокого обучения на Coursera. DeepLearning.ai — это образовательная технологическая компания, которая развивает глобальное сообщество талантов в области искусственного интеллекта.
Накопленный под руководством экспертов опыт deeplearning.ai в области образования предоставляет специалистам-практикам и нетехническим специалистам ИИ необходимые инструменты, позволяющие им пройти весь путь от основ до передовых прикладных программ, расширяя их возможности в создании будущего на основе ИИ.
Tech with Tim
Тим — блестящий программист, преподающий Python, разработку игр с помощью Pygame, Java и машинное обучение. Он создает качественные учебные пособия по программированию на Python.
Machine Learning University (MLU)
Созданный в 2016 году Университет машинного обучения (MLU) — инициатива Amazon с ясной целью — обучить как можно больше сотрудников технологиям и необходимой компании магии предложения продуктов с помощью интегрированных технологий ML.
Artificial Intelligence — All in One
Этот канал YouTube содержит обучающие видеоролики, связанные с наукой, технологиями и искусственным интеллектом.
Sentdex
Sentdex создает один из лучших учебников по программированию Python на YouTube. Его учебные пособия варьируются от начального уровня до продвинутого с более чем 1000 видео о программировании на Python. Это больше, чем просто основы. В них рассказывается о машинном обучении, финансах, анализе данных, робототехнике, веб-разработке, разработке игр и многом другом.
Joma Tech
Joma Tech — ютубер, который делает видео, помогающие людям попасть в технологическую индустрию. Он работал в крупных технологических компаниях в качестве дата-сайентиста и инженера-программиста. Основываясь на своем опыте, он делает видеоинтервью с экспертами, видео об образе жизни в Силиконовой долине, делает науку о данных более доступной.
Python Programmer
Содержание Python Programmer — это учебные пособия по Python, Data Science, ML, рекомендации книг и многое другое.
Deep Learning TV
Этот канал YouTube посвящен инструкциям, обзорам библиотек ПО и приложений, а также интервью с ключевыми персонами в области глубокого обучения. DL TV посвящено области исследований, которая учит машины воспринимать мир. Начиная с серии, посвященной упрощенному объяснению DL, на канале выкладываются ролики с инструкциями, обзорами библиотек программного обеспечения и приложений, а также интервью с ключевыми персонами в этой области. С помощью серии концептуальных видеороликов, демонстрирующих интуитивно понятные объяснения лежащих в основе глубокого обучения методов, канал показывает, что глубокое обучение на самом деле проще, чем вы думаете.
Google Cloud Platform
Видеоролики YouTube помогут вам создавать будущее с помощью безопасной инфраструктуры, инструментов разработчика, API, анализа данных и машинного обучения.
Кит Гэлли
Кит Гэлли — недавний выпускник MIT. Он делает обучающие видео о DS, программировании, настольных играх и о многом другом.
Data Science Dojo
Data Science Dojo — это канал, который обещает научить Data Science всех желающих в простой для понимания форме. Вы найдете множество туториалов, лекций и курсов по инженерии данных и Data Science.
Заключение
Эти каналы уникальны, я уже долго слежу за ними и очарован огромным количеством знаний, которые сегодня доступны в сети бесплатно. Я надеюсь, что вам понравится, и, если вы знаете какие-либо другие интересные каналы YouTube об ИИ, машинном обучении, глубоком обучении или науке о данных, оставьте их в комментариях!
А если хочется не только смотреть каналы но и перенимать опыт практиков — приходите к нам, а специальный промокод HABR — приплюсует 10% к скидке на баннере.
Наука о данных, искусственный интеллект, машинное обучение: путь самоучки
Не каждый может найти время и деньги на то, чтобы получить очное образование в сферах Data Science (DS, наука о данных), AI (Artificial Intelligence, искусственный интеллект), ML (Machine Learning, машинное обучение). Недостаток времени и нехватка денег — это серьёзные препятствия. Преодолеть эти препятствия можно, занявшись самообучением. Но и тут не всё так просто. Для того чтобы успешно учиться самостоятельно, нужны дисциплина, сосредоточенность и правильный подбор учебных предметов. Самообучение в выбранной области, при правильном подходе, можно свободно совмещать с обычной жизнью или с учёбой в общеобразовательных учреждениях. Но в некоторых областях знаний, в таких, как DS, AI, ML, очень сложно начать учиться самостоятельно. Однако, прошу поверить мне на слово, сложности стоят того, что можно получить в результате. Ключ к успеху в самообучении лежит в том, чтобы учиться в собственном темпе.
В этом материале я хочу рассказать о том, как можно действовать тому, кто хочет самостоятельно обрести знания в областях DS, AI и ML. Применение предложенных здесь методов учёбы способно привести к хорошему прогрессу в изучении нового. Здесь, кроме того, я собираюсь поделиться ссылками на ресурсы, которыми я пользуюсь, и которые я без тени сомнения готов порекомендовать другим.
Изучите некоторые математические дисциплины
Математика, даже если это кому-то и не нравится, очень важна в интересующей нас области. Я думаю, что можно с достаточной уверенностью говорить о том, что те, кто это читают, уже обладают некоторыми знаниями по математике, которые они получили в школе. Это — хорошая база, но этого и близко недостаточно тому, кто хочет развиваться в сферах DS, AI и ML. А именно, тут понадобится углубиться в математику немного сильнее, чем это делается в школе, придётся изучить некоторые вещи из статистики, алгебры и других математических дисциплин. Я собрал бы список полезных ресурсов по математике для DS, но это уже сделали за меня в этой статье. И сделали очень хорошо.
Научитесь программировать
Если вы только начинаете самообучение — не стоит сразу бросаться в изучение того, как писать код для целей машинного обучения. Вместо этого стоит изучить основные концепции программирования, не привязанные к какой-либо предметной области. Узнайте о том, что такое программирование, ознакомьтесь с разными существующими типами кода, разберитесь с тем, как правильно писать программы. Это очень важно, так как в процессе освоения программирования вы изучите множество базовых идей, которые сослужат вам хорошую службу на протяжении всей вашей DS-карьеры.
Не спешите, не стремитесь сразу изучить что-то сложное. То, насколько хорошо вы поймёте основы, скажется на всей вашей будущей профессиональной деятельности. Здесь вы можете найти очень хорошие видеоуроки, которые познакомят вас с программированием и информатикой. А именно, в них разбираются самые важные вещи, в которых вам нужно разбираться. Уделите этому вопросу достаточно времени и постарайтесь дойти до понимания всего, что узнаете.
Выберите один язык программирования и как следует в нём разберитесь
Существует много языков программирования, используемых теми, кто работает в областях DS, AI и ML. Чаще всего здесь используются Python, R, Java, Julia и SQL. В данных сферах могут применяться и другие языки, но те, которые я перечислил, применяются чаще других не без причины:
Научитесь собирать данные
Чаще всего вам никто не будет давать данные, предназначенные специально для вас, а иногда в вашем распоряжении может не быть вообще никаких данных. Но, в любом случае, вам нужно найти способ сбора данных, с которыми вы будете работать. У организации, в которой вы трудитесь, может быть хорошая система сбора данных. Если это так, для вас это — большой плюс. Если такой системы в организации нет, то вам придётся найти способ сбора данных. Но речь идёт не о любых данных, а о качественной информации, с который вы сможете продуктивно работать, достигая поставленных целей. Сбор данных не имеет прямой связи с «добычей данных», с их глубинным анализом. Сбор данных — это шаг работы, который предшествует анализу.
Открытые данные, которыми можно пользоваться бесплатно, можно найти во многих местах интернета. Иногда же нужные данные можно собрать с веб-сайтов, применяя методы веб-скрапинга. Владение веб-скрапингом — это очень важный навык дата-сайентиста, поэтому я очень прошу всех, кто собирается работать в областях DS, AI и ML, освоить этот навык. Вот хорошее руководство по веб-скрапингу.
Данные, кроме того, могут храниться в базах данных, поэтому вам очень пригодятся начальные сведения по администрированию БД и умения по взаимодействию с базами данных. В частности, здесь очень важны знания SQL. Поучиться SQL можно здесь.
Научитесь обрабатывать данные
То, о чём я будут тут говорить, часто называют «первичной обработкой данных» (Data Wrangling). Этот процесс включает в себя очистку имеющихся данных. Здесь применяется разведочный анализ данных и удаление из них всего ненужного. Этот процесс так же включает в себя структурирование данных, приведение их к такой форме, с которой можно будет работать. Эта стадия работы с данными является самой тяжёлой и изматывающей. Те данные, с которыми вы столкнётесь в процессе обучения, будут уже подготовлены к анализу. Но данные, с которыми вы встретитесь в реальном мире, могут быть совершенно «сырыми». Если вы и правда стремитесь стать специалистом в области обработки и анализа данных, вам стоит найти настоящие данные и отыскать способы приведения их в пристойный вид.
Реальные данные можно найти практически повсюду. Например — на Kaggle. На этой замечательной платформе имеются данные от множества компаний со всего мира. Первичная обработка данных — это очень утомительное занятие, но если вы будете заниматься этим регулярно и настойчиво, вы, постепенно, поймёте, что занятие это ещё и очень интересное. Вот хорошие лекции по первичной обработке данных.
Научитесь визуализировать данные
Если вы — специалист по DS, AI или ML, и хорошо разбираетесь в своём деле, вы не должны забывать о том, что то, что кажется вам очевидным, может быть совершенно непонятно окружающим. Не ждите от них того, что они, например, смогут сделать выводы, глядя на колонки цифр. Научиться визуализировать данные нужно для того чтобы результатами вашей работы могли бы воспользоваться специалисты из других областей. «Визуализацией данных» обычно называют процесс представления данных в графическом виде. Такое представление данных позволит извлечь их них пользу даже тем, кто не имеет специальных знаний в сферах DS, AI и ML.
Существует множество способов визуализации данных. Так как мы, всё же, программисты, нашим основным методом визуализации данных должно быть написание соответствующего кода. Это быстро и не требует покупки специализированных инструментов. При написании кода для визуализации данных можно пользоваться множеством бесплатных и опенсорсных библиотек, созданных для используемых нами языков программирования. Например, существуют библиотеки такого рода для Python. Это — Matplotlib, Seaborn и Bokeh. Вот видеоурок по Matplotlib.
Ещё один способ визуализации данных предусматривает использование инструментов с закрытым кодом. Например — Tableau. Существует много таких средств, они позволяют добиваться весьма привлекательных результатов, но они не бесплатны. Tableau — один из самых распространённых подобных инструментов, им я пользуюсь очень часто. Я посоветовал бы всем, кто занимается анализом и визуализацией данных, изучить Tableau. Вот хорошее руководство по этому инструменту.
Искусственный интеллект и машинное обучение
AI и ML можно рассматривать как подразделы DS, так как они основаны на данных. AI и ML — это технологии, которые основаны на обучении машин поведению, сходному с поведением людей. Для этого используются специально подготовленные данные, передаваемые машинам. Компьютерные модели можно научить многому такому, на что способны люди. Для этого их обучают и направляют к нужному результату. В данном случае «машины» можно воспринимать как маленьких детей, не имеющих совершенно никаких знаний. Этих детей постепенно обучают идентифицировать объекты, говорить. Они учатся на своих ошибках и, по мере обучения, начинают всё лучше решать поставленные перед ними задачи. Так происходит и с машинами.
Технологии AI и ML — это то, что «оживляет» машины с использованием множества математических алгоритмов. Человечеству до сих пор не известны границы возможностей этих постоянно совершенствующихся технологий. В наши дни технологии AI и ML широко используются для решения когнитивных задач. Это — обнаружение и распознавание объектов, распознавание лиц и речи, обработка естественного языка, выявление спама и обнаружение мошенничества. Этот список можно ещё очень долго продолжать.
Более подробный рассказ об AI и ML достоин отдельной публикации. Пока же я могу порекомендовать это видео, касающееся общих вопросов применения данных технологий. А вот — многочасовой видеоурок, посвящённый машинному обучению. Проработав эти видео, вы можете приобрести знания в сфере ML, соответствующие начальному или даже среднему уровню. Вы узнаете о множестве существующих алгоритмов машинного обучения, о том, как они устроены, и о том, как ими пользоваться. После этого у вас должно быть достаточно знаний для того чтобы приступить к созданию собственных простых ML-моделей. О том, как это сделать, можно почитать здесь.
Изучите способы публикации ML-моделей в интернете
Существуют инструменты, позволяющие публиковать ML-модели в интернете. Это позволяет дать к ним доступ всем желающим. Для того чтобы публиковать модели в интернете, нужно хорошее понимание процессов веб-разработки. Дело в том, что под «публикацией модели» понимается создание веб-страницы (или группы страниц), обеспечивающей возможность работы с моделью в браузере. Кроме того, нужно учитывать то, что фронтенд проекта, его интерфейс, должен обмениваться данными с бэкендом, с серверной частью проекта, где расположена сама модель. Для того чтобы строить подобные проекты, вы должны уметь создавать серверные API и пользоваться этими API в клиентской части приложений.
В том случае, если вы планируете публиковать модели в облачных средах, если собираетесь использовать технологию Docker, вам пригодится хорошее знание сферы облачных вычислений и DevOps.
На самом деле, существует множество способов развёртывания моделей в интернете. Я посоветовал бы начать с изучения того, как это делается с использованием веб-фреймворка Flask, основанного на Python. Вот хорошее учебное руководство об этом.
Найдите наставника
Самообучение — это прекрасно, но ничто не сравнится с обучением у профессионалов. Дело в том, что при таком подходе усваивается то, что используется в реальности, и в том, что так обучение идёт через практику. Многие вещи можно изучить только на практике. Обучение с наставником имеет множество сильных сторон, но надо учитывать то, что не каждый наставник способен оказать существенное влияние на вашу карьеру или жизнь. Именно поэтому очень важно найти хорошего наставника.
Например, эту задачу можно попытаться решить с помощью платформы Notitia AI. Здесь учащимся назначают персональных наставников, которые делают личный и профессиональный вклад в развитие учеников. Наставники доводят тех, кто хочет учиться, от начального до экспертного уровня в сферах DS, AI и ML. Notia AI, это, кроме того, самая доступная платформа такого рода.
Итоги
Учтите, что изучение курсов, чтение статей и просмотр видео не сделают из вас специалиста по работе с данными. Вам понадобится пройти сертификацию в специализированном учреждении. Кроме того, некоторые вакансии требуют наличия определённых документов об образовании. Вложите время в самообучение, сертифицируйтесь или получите документы об образовании, и вы будете готовы к реальной работе.
Как вы думаете, что нужно знать и уметь тому, кто стремится стать ценным специалистом в сферах искусственного интеллекта или машинного обучения?