Data science – зачем нужна наука о данных

В 2021 году в рекрутинговом агентстве CNA Inter­na­tion­al IT провели исследование о том, каких специалистов сейчас не хватает на IT-рынке Украины. Одним из них оказался data sci­en­tist. Причем если джунов в этой сфере много, то более опытных – data sci­en­tist уровня мидл или сеньор – найти очень сложно.

Редакция MC.today выяснила, что такое data sci­ence, кто первый ввел этот термин, какие обязанности у data sci­en­tist, что он должен знать и с чего стоит начать изучение профессии.

---

Что такое data science

Data sci­ence – это наука о данных. Она изучает, как правильно анализировать, обрабатывать и предоставлять данные. Это всегда работа с большими массивами информации, или с big dataот англ. большой объем данных.. При необходимости в любых данных можно выявить закономерность и правильно структурировать информацию. 

Например, определить средний показатель температуры зимой за 100 лет или проанализировать статистику запросов по IT-курсам в поисковых системах.

В повседневной жизни люди уже давно пользуются такими структурированными данными: с их помощью можно забронировать отель, заказать пиццу или выбрать статью на MC.today. Списки любых рекомендаций – будь-то друзей или музыки – тоже результат обработки большого количества данных.

Большие объемы информации – big data – хранятся на серверах банков, мобильных операторов и соцсетей. Как правило, это личная информация о пользователе, месте и дате его рождения, номер телефона. 

Часто мошенники взламывают такие базы и личная информация пользователей попадает в общий доступ. Самый крупный взлом был в 2019 году. Тогда 533 млн учетных записей Face­book слили в сеть. 

История возникновения data science

Data sci­ence объединяет разные области знаний: информатику, математику и системный анализ. Вот почему еще 50 лет назад огромными базами данных занимались математики и статистики. Но с 1974 года все начало постепенно меняться.

Тогда вышла книга датского программиста Петера Наура «Краткий обзор компьютерных методов». В ней впервые упоминается понятие data sci­ence. Так Петер определил науку, которая работает с цифровыми данными: с момента их появления и до того, как их проанализируют, структурируют и начнут использовать в разных сферах.

Постепенно понятие data sci­ence стали употреблять все чаще. В начале 2000‑х один за другим выходят журналы, название которых совпадает с названием дисциплины. Например, Data Sci­ence Jour­nal американского комитета по науке и технике и The Jour­nal of Data Sci­ence Колумбийского университета. 

С 2010 года стали проводить профессиональные международные конференции по data sci­ence. А когда в 2011 году эксперты консалтинговой компании McK­in­sey спрогнозировали дефицит специалистов в сфере data sci­ence, университеты всего мира включили эту дисциплину в свои учебные курсы. 

Кто такой data scientist

Специалист, который обрабатывает большие объемы данных, называется data sci­en­tist. Его задача – найти закономерности в тоннах информации, проанализировать их, сделать выводы и дать прогнозы. Результатом работы data sci­en­tist всегда будет модель прогнозирования. То есть он должен создать самое лучшее или оптимальное решение поставленной задачи. 

Например, чтобы увеличить продажи в интернет-магазине, нужно правильно проанализировать все запросы и построить рекламную кампанию с учетом полученных выводов. Другими словами, в нужное время предложить клиенту нужный товар на нужном устройстве: программисту – новую модель компьютера, а предпринимателю – книгу о бизнесе.

Списки любых рекомендаций – будь-то друзей или музыки – тоже результат работы data sci­en­tist. Одним из первых такую модель запустил айтишник Джонатан Голдман. В 2006 году он устроился на должность аналитика по работе с базами данных в компанию LinkedIn.

Пока другие члены команды ломали голову над тем, как увеличить активность пользователей в сети, Джонатан придумал новый алгоритм. Он проанализировал данные всех зарегистрированных пользователей и спрогнозировал: вероятность того, что одни люди теоретически могут знать других, велика. Джонатан назвал алгоритм «Люди, которых вы можете знать» и убедил генерального директора использовать его в сети. 

В итоге по состоянию на 2021 год общее число пользователей LinkedIn достигло 740 млн.

В каких сферах работает data scientist

Чем активнее развиваются технологии, тем больше нужно людей, который могли бы обрабатывать большие объемы информации и создавать на основе этого решения. 

Специалисты в data sci­ence нужны везде, где составляют прогнозы или оценивают риски. А стартапы и вовсе нельзя представить без этого подхода. 

Вот почему специалисты по data sci­ence нужны сегодня практически во всех сферах. Вот лишь некоторые из них: 

• В банке. Например, на основе обработанных данных программа делает вывод, стоит ли выдавать кредит клиенту. Здесь задача data sci­en­tist – оценить платежеспособность клиента.
• В бизнесе. Data sci­en­tist поможет выяснить, какой товар будет более востребован. Он также сделает подборку товаров или услуг для конкретной категории людей.
• В логистике. Специальные программы помогут выстроить оптимальный маршрут.
• В IT. Data sci­en­tist программирует искусственный интеллект и разрабатывает поисковые системы.
• В медицине. Например, чтобы создать устройство, которое автоматически выдает результаты анализов: что в норме, а что нет.
• В метеослужбах. Современные прогнозы погоды готовят также с помощью data sci­ence.
• В социологии. С помощью data sci­ence можно обрабатывать анкеты и другую информацию, которую получили письменно или по телефону.

Обязанности data scientist

Data sci­en­tist должен отыскивать среди всех вариантов тот, который лучше сможет решить задачу. Именно он понимает, если что-то пойдет не так.

Вот какие обязанности у data sci­en­tist:

• Собрать информацию о пользователях. 
• Сгруппировать данные по категориям. 
• Спрогнозировать, какой продукт вызовет интерес и как долго будет пользоваться спросом. 
• Предсказать, какое новое направление стоит открыть. 
• Смоделировать поведение пользователей или клиентов. 

Data sci­en­tist старается узнать, что предпочитает пользователь, и делает все для того, чтобы удовлетворить его запросы. 

Например, стриминговый сервис Net­flix начал работать с data sci­ence еще в начале 2000‑х. Уже тогда зрителям предложили оценивать фильм, который они посмотрели. А потом на основе этих оценок формировали для них следующие подборки фильмов. Позже появились тематические подборки, а также фильмы для разной целевой аудитории: детей, девушек, молодых людей и мужчин постарше. 

Для этого в Net­flix собирают такую информацию: 

• дата и время просмотра; 
• устройство, на котором посмотрели фильм;
• какой запрос вводили в поиске.

Так каждый зритель получает то, что будет интересно посмотреть именно ему. Благодаря такому подходу сегодня у Net­flix более 200 млн пользователей по всему миру.

Что должен знать data scientist для эффективной работы

Data sci­en­tist – это человек с аналитическим складом ума. Он должен отлично знать математику и математический анализ, линейную алгебру, теорию вероятности и статистику.

Data sci­en­tist Елена Ивина говорит: это сфера, в которой пересекаются компьютерные и математические науки. Вот почему помимо математических дисциплин здесь нужно обязательно знать: 

• принципы машинного обучения;
• языки программирования SAS, R или Python; 
• базы данных MySQL и Post­gre; 
• технологии и инструменты визуализации Flare, D3.js, Tableau; 
• хранилище данных Hadoop and MapRe­duce; 
• библиотеки Ten­sor­Flow и Scik­it-learn; 
• методы отчетности. 

Особое внимание Елена советует уделять языкам программирования. Она считает: Python нужно знать в совершенстве.

Специалисту по data sci­ence нужно также уметь работать в команде – ведь ему часто приходится общаться с разными специалистами. Кроме того, он должен постоянно учиться, развиваться и общаться с единомышленниками. 

Отличия аналитика big data от исследователя данных

Оба специалиста – data sci­en­tist и data ana­lyst – работают с большими объемами информации. Они обрабатывают данные, строят прогнозы и проверяют их с помощью специальных программ. Но, несмотря на это, результаты их работы разные. 

• Data ana­lyst после своих исследований предлагает теоретические варианты решения проблемы. Это могут быть графики, расчеты, схемы. 
• Data sci­en­tist предлагает прикладной продукт. А значит, разрабатывает программное обеспечение, которое реально поможет решить поставленную задачу. 

Data ana­lyst гораздо чаще пользуется «классической» математикой и статистическими методами. А data sci­en­tist – программами по разработке программного обеспечения. Но для обоих специалистов важно понимать сферу, в которой они работают, и то, на чем компания зарабатывает. 

Кроме того, data sci­ence – более широкое понятие. Это наука, которая включает в себя все виды работы с базами данных: сбор данных, аналитику данных и их анализ. 

С чего начать изучение профессии

Программист с 10-летним опытом Артем Чернодуб прежде всего советует начинающим в data sci­ence найти единомышленников и грамотного наставника. Например, устроиться джуниором в большую IT-компанию. Это может быть Gram­marly, Ring, Eleks. Так можно не только учиться и зарабатыватьот англ. earn­ing & learn­ing., но и на практике проверять, как работают и тестируются алгоритмы в реальной жизни.

С Артемом согласна и IT-специалист Елена Ивина. Она также говорит: начинать изучать алгоритмы лучше с наставником. И лишь со временем, когда придет уверенность, переходить на самостоятельное обучение.

Эталонным курсом в data sci­ence Елена Ивина называет Deep Learn­ing Spe­cial­iza­tion на Cours­era. Его проводит доцент Стэнфордского университета и сооснователь Cours­era Эндрю Нг. Курс научит разбираться в нейросетях, и пройти его можно бесплатно. 

Украинский специалист по работе с базами данных Сергей Шельпук рекомендует еще такие бесплатные курсы по data sci­ence от университета Стэнфорда: 

• Arti­fi­cial intel­li­gence: по искусственному интеллекту;
• Machine Learn­ing: по машинному обучению;
• Data­bas­es: по базам данных.

Вот книги по data science для начинающих

• Big Data: The Essen­tial Guide To Work, Life And Learn­ing In The Age Of Insight, Ken­neth Coquier, Vic­tor May­er-Schön­berg­er: авторы изучают проблему взаимодействия человека и искусственного интеллекта;
• «Data sci­ence для бізнесу. Як збирати, аналізувати і використовувати дані», Том Фоусет, Фостер Провост: эксперты делятся опытом, как применять полученные данные в бизнесе и развивать его; 
• «Ней­рон­ные сети и глу­бо­кое обу­че­ние», Май­кл Ниль­сен: знакомство с основными математическими принципами; 
• «Математический анализ», Липман Берс: введение в матанализ; 
• Deep Learn­ing, Ian Good­fel­low, Yoshua Ben­gio, Aaron Courville: самая полная книга по нейронным сетям и технологии машинного обучения; 
• «Построение систем машинного обучения на языке Python», Луис Педро Коэльо, Вилли Ричард: быстрое введение в популярные Python-библиотеки для машинного обучения и визуализации. 

Вывод

Сегодня data sci­en­tist – востребованная профессия. Только за вторую половину 2020 года в Украине было опубликовано 1,6 тыс. вакансий на позицию data sci­en­tist. 

Чтобы стать data sci­en­tist, нужно отлично знать математику, основы программирования, алгоритмические техники и даже психологию. 

Работать с большими данными сложно, но вместе с тем интересно. Чем больше информации нужно собрать и проанализировать специалисту, тем вероятнее он примет правильное решение. А значит, бизнес будет развиваться и приносить прибыль.