Пример технологии Quill демонстрирует, насколько уязвимыми для автоматизации оказываются задачи, которые когда-то считались исключительной прерогативой высококвалифицированных профессионалов с высшим образованием. Разумеется, связанная со знаниями работа обычно предполагает наличие широкого круга навыков и талантов. Среди прочего аналитик должен уметь извлекать информацию из различных систем, строить статистические или финансовые модели, а затем доходчиво доносить результаты своей работы до аудитории в виде отчетов или презентаций. Может показаться, что писательский труд — в котором, как ни крути, столько же искусства, сколько и науки, — относится к видам деятельности, в последнюю очередь поддающимся автоматизации. Но, как оказывается, это совсем не так, а алгоритмы с каждым днем становятся все более совершенными. Более того, учитывая то, что для автоматизации профессий, связанных с умственным трудом, достаточно одного лишь ПО, соответствующие рабочие места во многих случаях могут оказаться более уязвимыми, чем рабочие места для людей с низкой квалификацией, предполагающие физический труд.
Стоит отметить, что письменная речь относится к тем навыкам, которые, судя по жалобам работодателей, чаще всего недостаточно хорошо развиты у выпускников колледжей. По данным одного из недавних опросов работодателей, около половины всех принятых на работу выпускников, проведших в колледже два года, и более четверти выпускников с четырехлетним образованием не умеют письменно излагать свои мысли, а в некоторых случаях еще и недостаточно хорошо читают. Если интеллектуальное ПО способно, как это утверждают специалисты Narrative Science, составить конкуренцию самым талантливым аналитикам, рост потребности в специалистах, чья работа связана с умственным трудом, в будущем оказывается под большим вопросом. Это касается всех выпускников колледжей, в особенности наименее подготовленных.
Система написания нарративных текстов Quill — лишь один из многих примеров нового прикладного ПО, разрабатываемого с целью обеспечения максимально эффективного использования тех огромных объемов данных, которые собирают и хранят частные компании, организации и государственные органы повсюду в мире. По некоторым оценкам, общий объем хранимых в мире данных в настоящее время измеряется тысячами экзабайт (1 экзабайт равен 1 млрд гигабайт); причем эта величина постоянно растет в соответствии с законом, напоминающим закон Мура, удваиваясь приблизительно каждые три года. Почти все эти данные сегодня хранятся в цифровом формате, а значит, компьютеры могут работать с ними напрямую. Одни только серверы Google ежедневно обрабатывают около 24 петабайт (1 петабайт равен 1 млн гигабайт) данных, главным образом относящихся к поисковым запросам миллионов пользователей.
Все эти данные поступают из множества разнородных источников. Если взять один только Интернет, это будут данные о посещениях сайтов, поисковых запросах, сообщениях электронной почты, общении в социальных медиа, переходах по рекламным ссылкам и многое, многое другое. Если брать бизнес-сектор, то следует упомянуть данные о транзакциях, договорах с клиентами, внутренних коммуникациях, а также данные из финансовых, бухгалтерских и маркетинговых систем. На заводах, в больницах, автомобилях, самолетах и бесчисленных устройствах бытового и промышленного назначения непрерывно собираются данные в режиме реального времени.
Подавляющее большинство этих данных представляют собой то, что специалисты по компьютерным вычислениям называют «неструктурированными» данными. Другими словами, они поступают в различных форматах, которые трудно поддаются сопоставлению или сравнению. Это очень сильно отличает их от содержимого традиционных реляционных баз данных, в которых информация хранится в виде аккуратно упорядоченных строк и столбцов, что обеспечивает высокую скорость, надежность и точность поиска. Обработка неструктурированных данных потребовала создания новых инструментов, специально предназначенных для углубленного анализа информации, собранной из различных источников. Стремительный прогресс в этой области — всего лишь еще один пример того, как компьютеры, пускай и в довольно упрощенной форме, учатся делать то, что совсем недавно было доступно только людям. Все-таки способность непрерывно обрабатывать поток неструктурированной информации из множества различных источников во внешней среде всегда относилась к числу уникальных для человека механизмов адаптации. Разница, разумеется, в том, что человек никогда не сможет оперировать большим объемом данных в тех же масштабах, что и компьютеры. Большие данные оказывают революционное воздействие на широкий круг областей, включая бизнес, политику, медицину и практически все группы естественных и социальных наук.
Благодаря большим данным крупнейшие ретейлеры могут получить небывало подробное представление о покупательских предпочтениях отдельных потребителей, что дает им возможность формулировать адресные предложения и тем самым увеличивать собственную выручку, при этом повышая лояльность клиентов. Полицейские по всему миру обращаются к алгоритмическому анализу для прогнозирования наиболее вероятных мест и периодов совершения преступлений и распределяют свои силы в соответствии с полученными результатами. На специальном портале жители Чикаго могут ознакомиться как с ретроспективными, так и с актуальными данными, относящимися к самым разным сферам жизни и отражающими самые разные аспекты существования в большом городе, включая потребление энергии, уровень преступности, показатели эффективности работы транспортной инфраструктуры, школ, учреждений здравоохранения и даже количество выбоин и ям на дорогах, которые латали в конкретный период времени. Благодаря инструментам, которые реализуют новые способы визуализации данных, полученных путем анализа общения в социальных медиа, а также поступающих с датчиков, встроенных в двери, турникеты и эскалаторы, градостроители и сотрудники городской администрации могут наблюдать за тем, как люди перемещаются, работают и общаются в пределах городской среды, получая возможность оперативно корректировать свои действия с целью повышения эффективности работы городских служб и создания максимально комфортных условий для жизни.