Коллектор машины: Что такое коллектор. Впускной и выпускной в устройстве автомобиля. Да все просто.

Свернуть

Ваше мнение важно для нас!

Пожалуйста, оцените наш сайт – помогите нам стать лучше.

Мы просим ответить Вас всего на один вопрос и при желании поделиться своими впечатлениями.

Участие в опросе добровольное и анонимное.

Оставить отзыв

Manifolds — Machine Inc.

Слово «коллектор» означает «состоящий из многих», и коллекторы чаще всего рассматриваются как одноконтурные блоки с несколькими соединенными отверстиями. Machine Incorporated производит широкий спектр коллекторов практически для любой отрасли, в которой они нужны, как для обычных, так и для экзотических пластмасс и металлов. Мы понимаем потребность в надежных коллекторах и подходим к каждому проекту с целью предоставления коллекторов, которые обеспечивают именно ту производительность, которая необходима для данной функции.

Наши расширенные возможности фрезерования с ЧПУ, услуги полной сборки и современные услуги механической обработки позволяют нам предоставлять полный комплекс услуг по механической обработке коллекторов, предназначенных для различных областей применения. Иногда к ним относятся:

• Коллекторы для аэрокосмической отрасли
• Коллекторы для управления топливом
• Коллекторы для диагностического оборудования
• Коллекторы для радиаторов
• Коллекторы для клапанов регулирования давления

• Коллекторы для насосов
• Коллектор для медицинского оборудования
• Медицинское оборудование для аэрокосмической промышленности
• Коллекторы управления температурой

В Machine Inc мы гордимся тем, что можем предоставить комплексное сервисное решение.Будь то разработка каждой части вашего коллектора собственными силами, координация с другим поставщиком или получение деталей из ряда источников, мы можем это осуществить. От фрезерования коллекторов с ЧПУ до полного производства и сборки — наши клиенты получают коллекторы, в которых они нуждаются, с правильными техническими характеристиками. Наши возможности позволяют нам производить и предоставлять фрезерные станки с ЧПУ для коллекторов из различных материалов. Некоторые из них включают:

• Алюминиевые коллекторы
• Фрезерование с ЧПУ для пластиковых коллекторов
• Коллекторы из авиационных сплавов
• Коллекторы Peek

• Коллекторы, обработанные из ПВХ
• Коллекторы из нержавеющей стали
• Коллекторы
• Коллекторы Ultem

• Специализированные компоненты

  В Machine Incorporated мы имеем большой опыт работы с инженерами и дизайнерами, предоставляя информацию о технологичности новых конструкций для оптимизации экономии затрат при переходе продукта на стадию производства.От прототипов до готовой продукции, включая соединители, компоненты насосов и клапанов, корпуса, инструменты и оптику. Наши уникальные методы настройки и опыт производства позволяют нам давать вам ценные отзывы о конструкции на этом критически важном этапе запуска новой конструкции. Мы готовы принимать практически все файлы CAD и Solids, создавать прототипы, а затем беспрепятственно доводить их до производства.

  Machine Inc. может помочь вам проанализировать возможности вашего прототипа и предоставить ценную обратную связь.Не стесняйтесь обращаться к нам с вопросами.

  В Machine Incorporated мы сосредоточены на одном: качество. Это означает, что вы можете рассчитывать не только на высочайшее качество обработанных коллекторов, но и на высокое качество обслуживания, что означает более быструю доставку, более низкие производственные затраты и исключительную помощь в проектировании и проектировании.

  Благодаря бережливому производству и параллельному проектированию мы оптимизируем каждый аспект проектирования, разработки и производственного процесса, чтобы максимизировать производительность и обеспечить лучший конечный продукт.В нашем бизнесе очень важно не выходить за рамки бюджета. Вот почему мы используем наш опыт, чтобы предложить помощь в проектировании и выборе материалов, чтобы не тратить деньги на чрезмерно сконструированные коллекторы и детали.

  Для получения дополнительной информации о том, как мы можем обеспечить фрезерование и механическую обработку с ЧПУ для необходимых вам коллекторов, не стесняйтесь обращаться к нам, чтобы поговорить с одним из наших экспертов.

  многообразий в науке о данных — краткий обзор | by Z Singer

  Что это за штука?

  Наука о данных требует глубокого понимания данных.По мере накопления все большего и большего количества данных становится все труднее ответить на следующий вопрос:

  Как мне пространственно представить мои данные точным и значимым образом?

  Я утверждаю, что очень полезным шагом в ответе на этот вопрос является понимание того, что такое коллектор . Вот и хорошие новости: Скорее всего, вы уже понимаете, что такое коллектор. Коллекторы визуальны по своей природе, поэтому повседневных примеров предостаточно.

  В этой статье я:

  1. Объясню, что такое коллектор, и дам концептуальное определение.
  2. Визуализируйте примеры коллекторов в различных контекстах.
  3. Покажите, как коллекторы используются в науке о данных.

  Многообразия описывают огромное количество геометрических поверхностей. Чтобы быть многообразием, нужно соблюдать одно важное правило. Лучше всего понять это свойство на примере. Многообразия существуют в любом измерении, но для простоты давайте подумаем о трехмерном пространстве.

  Предположим, маленький муравей идет по коллектору в трех измерениях.Этот коллектор может быть изогнутым, извилистым или даже иметь в нем отверстия. А теперь вот правило: С точки зрения муравья, везде, где он ходит, должно быть похоже на плоскость .

  Вам знакомо это правило? Если вы ищете приложение, я думаю, это то, что нам всем подойдет; мы живем на коллекторе! Сфера — один из простейших примеров трехмерного многообразия.

  Вот несколько распространенных примеров коллекторов. Обратите внимание, что коллектор — это только поверхность этих объектов, а не внутренняя часть.

  Основные поверхности, являющиеся коллекторами.

  Можете ли вы представить себе поверхности, которые являются коллекторами , а не ? Эти поверхности будут иметь проблемы на некоторых «острых» точках. Ниже приведены первые несколько, которые мне приходят в голову:

  1. Куб. Если вы пройдете по краю и дойдете до края, все будет слишком остро и больше не будет похоже на самолет.
  2. Горный пейзаж. Если предположить, что пик идеально резкий, на этом этапе все не будет похоже на самолет.
  3. Песочные часы.Предполагая, что пересечение двух половинок представляет собой единую точку, здесь правило будет нарушено.

  Интуиция для размышлений о коллекторах

  Общая тема этих примеров — то, что они несколько гладкие, то есть нет острых выступов или краев. Общая форма объекта может быть аморфной, что удобно при описании наборов данных, не имеющих жестких границ.

  Данные могут поступать из различных пространств. Это может быть пространство всех изображений или диапазон цен и числовых значений.Эти многомерные пространства имеют сложные представления, которые не всегда можно визуализировать. Однако данные могут поступать из специального подмножества, которое представлено многообразием.

  Таким образом, коллекторы могут выступать в качестве ступеньки от сложного пространства к более простому и гладкому подмножеству.

  Множество рукописных цифр как двумерное представление.

  Проблемы классификации являются яркими примерами для обучения многообразию, когда мы специально ищем многообразия, которые разделяют два типа данных.

  Задачи классификации связаны с поиском многообразий.

  В других случаях мы можем быть заинтересованы в «распутывании» данных до более низкого измерения — рассмотрим выборку из спиралевидного коллектора и научимся превращать ее из трехмерного представления ниже в двумерное плоское представление.

  (a) Пространственное представление набора данных. (б) Аппроксимация гладкой поверхности.

  Определение коллектора

  К сожалению, коллекторы, как правило, нелегко определить аналитически, как в случае с большинством геометрических объектов.Многие задачи в машинном обучении связаны с изучением многообразия представлений для данных, а затем с использованием этого представления для прогнозирования оставшегося пространства. Если вас интересует эта отрасль исследований в области машинного обучения, изучите многообучение .

  Просмотр данных доставляет огромное удовлетворение многим людям, и понимание геометрической структуры данных приходит вместе с этим. Коллекторы — это фундаментальные поверхности, на которых находятся данные.После того, как у вас есть коллектор для описания ваших данных, вы можете делать прогнозы относительно оставшегося места.

  Спасибо за чтение! Было бы здорово услышать ваши отзывы об этой статье и о том, что вы хотели бы увидеть в будущем! Не стесняйтесь писать любые вопросы в комментариях ниже.

  Определение гипотезы многообразия | DeepAI

  Что такое гипотеза многообразия?

  Гипотеза многообразия утверждает, что данные реального мира с высокой размерностью лежат на многообразиях с низкой размерностью, встроенных в пространство высокой размерности.

  Однако эту гипотезу лучше объяснить на примерах.

  Давайте сначала разберемся с битом «встроенного коллектора», прежде чем мы перейдем к тому, как он применяется к машинному обучению и данным.

  Многообразие — это просто технический термин, который используется для классификации пространств произвольной размерности. Для каждого целого числа существует плоское пространство, называемое евклидовым пространством, которое имеет характеристики, очень похожие на декартову плоскость. Например, выполняется теорема Пифагора, и поэтому кратчайшее расстояние между точками — это прямая линия (напротив, это неверно для круга или сферы).Размерность евклидова пространства — это, по сути, количество (независимых) степеней свободы — в основном, количество (ортогональных) направлений, по которым можно «двигаться» внутри пространства). Линия имеет одно такое измерение, бесконечная плоскость — 2, бесконечный объем — 3, и поэтому n. Многообразие по сути является обобщением евклидова пространства, так что локально (небольшие области) примерно такие же, как евклидово пространство, но все пространство не может иметь те же свойства евклидова пространства, когда наблюдается в целом.Эта теоретическая основа всегда мотивировала математиков и других ученых с количественной точки зрения на точное описание пространств, таких как сферы, торы (пространства в форме бублика) и ленты Мебиуса, и даже позволяет использовать целый ряд математических механизмов, включая исчисление, в осмысленно. В результате теперь классы пространств, в которых исчисление имеет смысл, расширены за счет включения пространств, которые могут быть искривлены произвольным образом или даже иметь дыры, такие как тор.

  Итак, теперь мы возьмем эту идею и применим ее к многомерным данным.Представьте, что мы заинтересованы в классификации всех (черных и белых) магов с помощью пикселей mxn. Каждый пиксель имеет числовое значение, и каждый может варьироваться в зависимости от изображения, которое может соответствовать чему угодно, от фотографии, получившей награду, до бессмысленного шума. Дело в том, что у нас есть mxn степеней свободы, поэтому мы можем рассматривать изображение размером mxn пикселей как единственную точку жизни в пространстве (множестве) размерности N = mn . Теперь представьте себе множество всех mxn воображает, что это фотографии Эйнштейна.Очевидно, что теперь у нас есть некоторые ограничения на выбор значений пикселей, если мы хотим, чтобы изображения были фотографиями Эйнштейна, а не чем-то еще. Очевидно, что случайный выбор не приведет к созданию таких изображений. Следовательно, мы ожидаем меньшей свободы выбора и, следовательно:

  Гипотеза многообразия утверждает, что это подмножество должно на самом деле жить в (окружающем) пространстве более низкого измерения, на самом деле измерения намного, намного меньше, чем N .

  Почему эта гипотеза важна для искусственного интеллекта?

  Гипотеза многообразия объясняет (эвристически), почему методы машинного обучения могут находить полезные функции и производить точные прогнозы на основе наборов данных, которые имеют потенциально большое количество измерений (переменных).Тот факт, что фактический интересующий набор данных фактически живет в пространстве низкой размерности, означает, что данной модели машинного обучения нужно только научиться сосредотачиваться на нескольких ключевых функциях набора данных для принятия решений. Однако эти ключевые особенности могут оказаться сложными функциями исходных переменных. Многие алгоритмы, лежащие в основе методов машинного обучения, сосредоточены на способах определения этих (встраиваемых) функций.

  У

  Массачусетского технологического института есть отличная статья по проверке гипотезы.Мы также рекомендуем заглянуть в блог Кола.
  

  Open Sourcing Manifold, инструмент визуальной отладки для машинного обучения

  В январе 2019 года Uber представил Manifold, инструмент визуальной отладки для машинного обучения, не зависящий от модели, который мы используем для выявления проблем в наших моделях машинного обучения. Чтобы дать другим практикам ML преимущества этого инструмента, сегодня мы рады объявить, что мы выпустили Manifold как проект с открытым исходным кодом.

  Manifold помогает инженерам и ученым выявлять проблемы с производительностью в срезах и моделях данных машинного обучения и диагностировать их первопричины, выявляя различия в распределении функций между подмножествами данных. В Uber Manifold был частью нашей платформы машинного обучения Michelangelo и помогал различным группам продуктов в Uber анализировать и отлаживать производительность моделей машинного обучения.

  С момента публикации этого проекта в блоге Uber Eng в начале этого года мы получили много отзывов от сообщества относительно его потенциала в сценариях отладки модели машинного обучения общего назначения.Мы полагаем, что, открыв исходный код автономной версии Manifold, этот инструмент также принесет пользу сообществу машинного обучения, обеспечивая интерпретируемость и возможность отладки рабочих процессов машинного обучения.

  Новые функции в версии 1

  В нашей первой версии Manifold с открытым исходным кодом мы добавили различные функции, чтобы упростить отладку модели по сравнению с нашими собственными итерациями.

  Функции в выпуске версии 1 включают:

  • • Независимая от модели поддержка общей двоичной классификации и отладки регрессионной модели. Пользователи смогут анализировать и сравнивать модели различных типов алгоритмов, что позволяет им распознавать различия в производительности в отношении различных срезов данных.
    • Поддержка визуализации для ввода табличных объектов, включая числовые, категориальные и геопространственные типы объектов. Используя информацию о распределении значений характеристик для каждого среза данных, пользователи могут лучше понять потенциальную причину определенных проблем с производительностью, например, есть ли какая-либо корреляция между потерями прогноза модели и географическим положением и распределением ее точек данных.
  Рис. 1. Новые обновления манифольдов включают поддержку визуализации для геопространственных функций.
  • • Интеграция с Jupyter Notebook. Благодаря этой интеграции Manifold принимает ввод данных в виде объектов Pandas DataFrame и визуализирует эти данные в Jupyter. Поскольку Jupyter Notebook является одной из наиболее широко используемых платформ для анализа данных для специалистов по данным и инженеров машинного обучения, эта интеграция позволяет пользователям анализировать свои модели, не нарушая их обычных рабочих процессов.
  Рис. 2. Интеграция с Jupyter Notebook в Manifold принимает данные, вводимые в виде объектов Pandas DataFrame, и отображает визуализацию в пользовательском интерфейсе Jupyter Notebook.
  • • Интерактивное срезы данных и сравнение производительности на основе потерь прогноза для каждого экземпляра и других значений характеристик. Пользователи смогут нарезать и запрашивать данные на основе потерь прогноза, достоверности данных или других интересующих характеристик. Эта функция позволит пользователям быстро проверить или отклонить свою гипотезу с помощью универсальной логики среза данных.
  Рис. 3. Интерактивное срезы данных, основанное на потерях прогнозирования для каждого экземпляра и значениях характеристик, позволяет специалистам-практикам Manifold лучше понять проблемы производительности модели машинного обучения.

  Следующие шаги

  Версия Manifold с открытым исходным кодом поставляется с версией пакета npm, а для привязки Jupyter Notebook — версией пакета Python. Чтобы начать работу, следуйте документации в репозитории github и установите его локально или посетите наш демонстрационный веб-сайт.

  Мы рекомендуем вам попробовать Manifold самостоятельно и с нетерпением ждем ваших отзывов!

  Утилита машинного обучения для спутниковых снимков | Адам Ван Эттен | The DownLinQ

  Предисловие: Работа, обобщенная здесь, является результатом исследования, проведенного Райаном Льюисом, Джейком Шермейером, Дэниелом Хоганом, Ником Вейром, Дэйвом Линденбаумом, Ли Коном и автором.

  Полезность любого набора данных зависит от множества переменных. В течение последних нескольких лет CosmiQ Works систематически работала над количественной оценкой полезности наборов данных спутниковых изображений, концепция, известная как Satellite Utility Manifold. У поверхности коллектора есть важные тактические и стратегические разветвления. Например, можно сравнить компромисс между разрешением сенсора, частотой сбора данных и стоимостью (см. Рисунок 1). Путем количественной оценки полезной поверхности и доверительных интервалов для различных осей команда CosmiQ Works попыталась ответить на ряд важных вопросов в области геопространственной аналитики, таких как качество сенсора, разрешение сенсора, размер набора данных и требования к ресурсам.

  В следующих разделах мы более подробно обсуждаем мотивацию и потенциальное влияние прикладных исследований, сфокусированных на требованиях к данным машинного обучения по нескольким измерениям импорта для сообщества геопространственной аналитики. См. Полный документ для дальнейшего изучения интересующих осей.

  1. Мотивация

  Данные — это фундаментальная валюта машинного обучения, однако входные данные для проектов машинного обучения часто рассматриваются как почти неизменный ресурс. Большинство сторон (например, академические исследователи или технологические стартапы) не очень заинтересованы в том, чтобы тратить значительные усилия на изучение множества нюансов наборов данных и того, как эти нюансы влияют на проекты машинного обучения и влияют на них.На одном конце спектра исследований / развертывания академические исследователи сильно заинтересованы в том, чтобы сосредоточиться на новых алгоритмах, даже если добавленная сложность не может привести к заметному увеличению производительности [a b, c, d, e]. С другой стороны, корпорации и правительственные учреждения сосредоточены на развертывании максимально эффективных решений существующих проблем. Еще многое предстоит сделать в направлении центра спектра, в недостаточно обслуживаемой области прикладных исследований, сфокусированных на взаимодействии производительности алгоритмов машинного обучения с качеством, количеством, сложностью, происхождением и достоверностью набора данных.

  Рис. 1. Пример вспомогательного вспомогательного коллектора. Вверху: многообразие условной полезности как функция разрешения и частоты повторных посещений. Как полезность, так и стоимость увеличиваются с увеличением частоты повторных посещений и разрешения изображения. Внизу: срезы вспомогательного коллектора по осям разрешения (слева) и повторного посещения (справа).

  Проведение прикладных исследований взаимодействия машинного обучения и аспектов наборов данных дает ответы на ряд стратегических вопросов, например, какой тип сенсорного оборудования требуется для сбора данных или сколько усилий требуется для сбора и проверки новых наборов данных.В следующих разделах мы исследуем несколько из многих возможных осей импорта в геопространственную аналитику.

  2. Разрешение сенсора

  Одним из методов измерения полезности созвездий спутниковой съемки является эффективность обнаружения объектов. Первая попытка CosmiQ Works по формальному исследованию универсального коллектора позволила количественно оценить влияние разрешения изображения на обнаружение объекта транспортного средства с целью предоставления поперечного сечения коллектора и информирования о компромиссах при проектировании оборудования.Это исследование продемонстрировало, что для выбранного набора данных эффективность обнаружения достигла точки перегиба для объектов размером около 5 пикселей, см. Рис. 2.

  Эта ранняя работа хорошо согласуется с более поздней (июль 2020 г.) работой, проведенной в отрасли: сравните объект производительность перечисления рисунка 2 с последним рисунком этого блога Maxar. При разрешении 60 см недавний анализ Maxar зафиксировал отзыв только 0,03, тогда как наш анализ на Рисунке 2 показал на 35% лучшую производительность с отзывом 0.97. Важным моментом здесь является то, что, хотя многочисленные исследования начинают интересовать промышленность, очевидно, что предстоит еще многое сделать. Дополнительная информация доступна в статье arXiv и в предыдущих блогах [1, 2, 3].

  Рис. 2. Производительность обнаружения объектов (перечисление объектов) в зависимости от разрешения датчика (см. Рис. 8 здесь).

  Продолжая первоначальную работу по разрешению, CosmiQ провела детальное исследование применения методов сверхвысокого разрешения к спутниковым изображениям и влияния этих методов на производительность алгоритмов обнаружения объектов, применяемых к наземным и морским транспортным средствам.Эта работа с использованием нескольких разрешений и методологий сверхвысокого разрешения показала, что сверхвысокое разрешение особенно эффективно при самых высоких разрешениях, с улучшением показателей обнаружения до 50%. Дополнительная информация доступна в статье CVPR EarthVision, а также в серии блогов [4, 5, 6].

  3. Ограниченные данные обучения

  В большинстве приложений машинного обучения данные обучения являются ценным ресурсом. Исходя из этой мотивации, CosmiQ Works провела исследование устойчивости, чтобы определить, как размер обучающего набора данных влияет на производительность модели в геопространственной области, а именно: на задачу поиска полигонов контуров зданий на спутниковых снимках.Исследование показало, что производительность модели изначально быстро растет по мере увеличения обучающих данных, а отдача уменьшается по мере дальнейшего увеличения объема обучающих данных.

  Фактически, по сравнению с использованием полного набора данных, использование всего лишь 3% данных по-прежнему обеспечивает 2/3 производительности, см. Рисунок 3. Независимо от домена, лучшее понимание взаимосвязи между размером набора данных и прогностической эффективностью возможность помочь в принятии решений в отношении подходов к сбору и анализу данных.Более подробная информация доступна в виде буклета, а также в серии блогов [7, 8, 9, 10].

  Рис. 3. Основные характеристики отображения в зависимости от размера обучающего набора данных по множественным парадигмам сбора данных (см. Здесь рисунок 2.1).

  В настоящее время стандартным подходом к обучению моделей глубоких нейронных сетей является использование предварительно обученных весов в качестве отправной точки для повышения производительности и сокращения времени обучения. Этот подход называется трансферным обучением. Поэтому, учитывая его повсеместность, количественная оценка стимула, обеспечиваемого трансферным обучением, имеет большое значение.Исследование трансферного обучения, проведенное CosmiQ Works, показало, что, хотя предварительно обученные веса давали ужасные результаты при применении к новому корпусу тестирования, переносное обучение с использованием этих весов позволило модели быстро ( i , e . В диапазоне ~ 5 минут), обучаясь на новом домене, что привело к заметному повышению производительности. Такие результаты говорят не только о полезности трансферного обучения, но и о количестве данных, необходимых для адаптации предварительно обученных весов к новым условиям.

  В исследовании синтетических данных Rareplanes была рассмотрена еще одна важная проблема компьютерного зрения: сколько данных требуется для обнаружения редких объектов (в данном случае самолетов) в большом наборе данных.См. Следующий раздел для дальнейшего обсуждения.

  4. Синтетические данные

  Rareplanes — это набор данных машинного обучения и исследование, в котором изучается ценность синтетических данных, помогающих алгоритмам компьютерного зрения автоматически обнаруживать воздушные суда и их атрибуты на спутниковых снимках. CosmiQ курировал и промаркировал большой набор данных спутниковых снимков (реальные данные), чтобы сопровождать сопутствующий синтетический набор данных, созданный портфельной компанией IQT. Наряду с набором данных проект Rareplanes обеспечил понимание ряда осей, таких как компромисс производительности алгоритмов компьютерного зрения для идентификации редких самолетов, которые нечасто наблюдаются на спутниковых снимках, с использованием смеси синтетических и реальных данных обучения (см. Рисунок 4). .Более подробная информация доступна в статье arXiv, а также в серии блогов [11, 12, 13, 14].

  Рис. 4. Влияние синтетических данных на различные размеры обучающих наборов данных в наборе данных Rareplanes. Зеленые (синтетические дополненные) модели явно превосходят оранжевые базовые (только реальные данные) модели для редких объектов (из Рисунка 5 здесь).

  5. Угол наблюдения

  Во многих сценариях, где своевременность является ключевым моментом, изображения дистанционного зондирования не могут быть получены непосредственно над головой (надир), что требует сбора данных с точки зрения вне надира.Тем не менее, подавляющее большинство наборов данных и моделей дистанционного зондирования находится в надире, что оставляет значительный пробел в понимании того, как современные алгоритмы работают в неидеальных сценариях, таких как изображения с высоким уровнем вне надира. Чтобы ответить на этот вопрос, CosmiQ запустила набор данных и задачу SpaceNet 4 (более подробную информацию см. В документе ICCV). Набор данных состоял из нескольких наборов данных в одном и том же месте (Атланта, Джорджия), когда спутник проходил над головой, что дало 27 различных углов надира в наборе данных.Это позволило команде CosmiQ Works (и конкурентам SpaceNet 4) количественно оценить падение эффективности обнаружения следов здания, поскольку «качество» изображений ухудшается по мере того, как изображения становятся все более и более искаженными.

  Впоследствии команда CosmiQ Works выполнила аналогичный анализ набора данных в Атланте, на этот раз извлекая дорожные сети из снимков, сильно отклоненных от надира, демонстрируя способность идентифицировать дорожные сети и объекты под углами вне надира (см. Рисунок 5). Несколько удивительно, что дорожные сети легче извлекаются при больших углах от надира, чем здания, подробности см. В статье arXiv.Контрольные показатели производительности, установленные в результате исследований зданий и дорог, могут быть использованы в процедурах управления сбором, а также при проектировании спутниковой группировки.

  Рис. 5. Эффективность извлечения дорожной сети как угол обзора функции (из Рис. 5 здесь).

  6. Компромисс между скоростью и производительностью

  Последняя часть функционального многообразия, которую мы обсудим, — это компромисс между производительностью алгоритма и временем выполнения. Часто передовые достижения в области машинного обучения продвигаются за счет добавления уровней сложности к существующим моделям, тем самым обеспечивая улучшение выбранной метрики (и академической статьи) на 2-5%, но за счет увеличения время выполнения.Такие «достижения» иногда оказываются пагубными для реальных случаев использования из-за более медленных скоростей и повышенной хрупкости. Эти компромиссы были проанализированы для задачи о дорожной сети SpaceNet 5 и времени в пути [16] (см. Рисунок 6 ниже), а также для задачи извлечения из здания радара с синтезированной апертурой (SAR) SpaceNet 6 [17]. Эти анализы позволяют потенциальным пользователям открытого исходного кода, предоставленного этими усилиями, оценить производительность и определить соответствующий алгоритмический подход на основе своих требований к производительности и вычислительной среды.

  Рис. 6. Анализ компромисса между скоростью и производительностью для различных моделей обнаружения дорог (отсюда).

  7. Выводы

  В области спутниковой аналитики можно задать множество вопросов после того, как будет определена подходящая мера полезности, и довольно часто наименее интересной (хотя и наиболее часто преследуемой) темой исследования является построение модели машинного обучения, которая максимизирует полезность. без обращения к базовому пространству функций, определяющему производительность. Изучение кривой производительности по различным осям дает гораздо больше информации, чем просто отдельная точка данных, обозначающая максимальную производительность.Объединение нескольких аспектов вместе также позволяет количественно оценить сложное многомерное полезное многообразие. Эта концепция проиллюстрирована на рисунке 7.

  Рисунок 7. Вычисление производительности обнаружения транспортных средств для различных разрешений и географических регионов иллюстрирует поверхность коллектора для этих параметров (адаптировано отсюда).

  Многие из извлеченных уроков и исследовательских вопросов из описанной выше геопространственной аналитики легко переносятся на новые области. Например, некоторые оси имеют универсальное значение, такие как разрешение данных, разрешение метки и размер набора данных.Показатели полезности, конечно, будут варьироваться в зависимости от предметной области, но вполне возможно, что многообразие может иметь предсказательную силу для разных предметных областей.

  Создание новых наборов данных часто является важной частью разнообразных исследований (см. Приложение в соответствующем документе). Для контекста ровно ноль из приведенных выше примеров позволяла анализировать существующие наборы данных; во всех случаях ответ на соответствующий вопрос требовал создания нового набора данных с необходимыми функциями.

  По нашей оценке, изучение пространства функций, которое определяет производительность машинного обучения на высококачественных наборах данных, остается малоизученной, но весьма эффективной областью исследований.Количественная оценка степени, в которой производительность машинного обучения зависит и влияет на размер набора данных, точность, качество, достоверность и происхождение, может положительно повлиять на сложные задачи широкого круга групп клиентов как на тактическом, так и на стратегическом уровнях. Для получения более подробной информации и изучения дополнительных осей, представляющих интерес, не обсуждаемых здесь (, например, . Качество этикетки, свойства объекта, мощность диапазона изображения, разнообразие данных и т. Д.), Вы можете просмотреть нашу полную статью.

  * Благодарность s: Резюмируемая здесь работа является результатом исследований, проведенных Райаном Льюисом, Джейком Шермейером, Дэниелом Хоганом, Ником Вейром, Дэйвом Линденбаумом, Ли Коном и автором.

  Коллектор

  : независимый от модели инструмент визуальной отладки для машинного обучения в Uber

  Машинное обучение (ML) широко используется на платформе Uber для поддержки интеллектуального принятия решений и прогнозирования для таких функций, как прогнозирование ETA и обнаружение мошенничества.Для достижения оптимальных результатов мы инвестируем много ресурсов в разработку точных прогнозирующих моделей машинного обучения. Фактически, практикующие специалисты обычно тратят 20 процентов своих усилий на построение исходных рабочих моделей и 80 процентов своих усилий на улучшение производительности моделей по так называемому правилу разделения 20/80 при разработке моделей машинного обучения.

  Традиционно, когда специалисты по обработке данных разрабатывают модели, они оценивают каждого кандидата в модель, используя итоговые баллы, такие как логарифмические потери, площадь под кривой (AUC) и средняя абсолютная ошибка (MAE).Хотя эти метрики дают представление о том, как работает модель, они не передают много информации о том, почему модель не работает должным образом, и, следовательно, о том, как улучшить ее производительность. Таким образом, разработчики моделей склонны полагаться на метод проб и ошибок при определении того, как улучшить свои модели.

  Чтобы сделать процесс итерации модели более информативным и действенным, мы разработали Manifold, собственный инструмент Uber-независимой от модели визуализации для диагностики производительности машинного обучения и отладки моделей.Используя преимущества методов визуальной аналитики, Manifold позволяет специалистам по машинному обучению выходить за рамки общих сводных показателей, чтобы определить, какое подмножество данных модель неверно предсказывает. Manifold также объясняет потенциальную причину плохой производительности модели, выявляя разницу в распределении признаков между лучшими и худшими подмножествами данных. Более того, он может отображать, как несколько моделей-кандидатов имеют разную точность прогнозов для каждого подмножества данных, обеспечивая обоснование для расширенных методов лечения, таких как объединение моделей.

  В этой статье мы обсуждаем алгоритм Manifold и дизайн визуализации, а также объясняем, как Uber использует этот инструмент, чтобы получить представление о своих моделях и улучшить их производительность.

  Мотивация за Manifold

  Учитывая их сложность, модели машинного обучения по своей сути непрозрачны. Поскольку машинное обучение становится все более неотъемлемой частью бизнеса Uber, нам необходимо вооружить пользователей инструментами, чтобы сделать модели более прозрачными и понятными; только тогда они смогут с уверенностью и доверием использовать прогнозы, созданные с помощью машинного обучения.Визуализация машинного обучения, развивающаяся область, решает эту проблему.

  Предыдущие подходы к визуализации машинного обучения обычно включали прямую визуализацию внутренней структуры или параметров модели, дизайн ограничен базовыми алгоритмами и, следовательно, не масштабируется для обработки общих вариантов использования в масштабах компании. ^1,2,3

  Чтобы решить эту проблему в Uber, мы создали Manifold для обслуживания большинства моделей машинного обучения, начиная с моделей классификации и регрессии. ⁴ Мы также разработали Manifold, чтобы обеспечить прозрачность черного ящика при разработке модели машинного обучения за счет выявления различий в распределении функций между подмножествами данных.

  Разработав Manifold, мы перевернули традиционную задачу визуализации моделей машинного обучения с ног на голову. Вместо проверки моделей мы проверяем отдельные точки данных путем: (1) определения сегментов данных, которые обеспечивают хорошую или плохую работу модели, и того, как эти данные влияют на производительность между моделями, и (2) оценки совокупных характеристик характеристик этих данных. сегменты для определения причин определенного поведения модели. Этот подход способствует моделированию агностицизма, что особенно полезно, когда дело доходит до определения возможностей для объединения моделей.

  Визуализация и проектирование рабочего процесса

  В дополнение к исследовательскому прототипу, встроенному в [4], мы сосредоточились на выявлении важных сигналов и паттернов среди массивных многомерных наборов данных машинного обучения. В следующих разделах мы обсудим интерфейс Manifold и рабочий процесс пользователя, углубимся в наши соображения по дизайну и объясним алгоритмы, которые позволили использовать этот тип визуальной аналитики.

  Рис. 1. Интерфейс Manifold состоит из представления сравнения производительности (слева) и представления атрибуции функций (справа).

  Интерфейс Manifold состоит из двух скоординированных визуализаций:

  • Сравнение производительности Просмотр , состоящий из многостороннего графика с кодировкой скрипки, сравнивает производительность между моделями и сегментами данных.
  Рис. 2. Визуальные кодировки представления Manifold Performance Comparison состоят из оси X (выбранная пользователем метрика производительности, например, логарифм потери или квадрат логарифмической ошибки или необработанный прогноз), оси Y (сегменты данных) , и цвета (модели). Высота кривой показывает распределение производительности каждой модели по каждому сегменту данных.
  • Представление атрибуции признаков, , состоящее из двух наборов гистограмм распределения признаков, сравнивает признаки двух выбранных сегментов данных.
  Рис. 3. Визуальные кодировки в представлении атрибуции функции включают ось x (диапазон значений функции), ось y (количество точек данных) и цвета (группы сегментов данных). Функции ранжируются по разнице в их распределении по двум группам сегментов данных. Манифольд

  помогает пользователям находить области для улучшения модели в три этапа:

  • Сравните : во-первых, учитывая набор данных с выходными данными одной или нескольких моделей машинного обучения, Manifold сравнивает и выделяет различия в производительности между моделями или подмножествами данных (рисунок 3a.)
  Рисунок 3a
  • Срез : этот шаг позволяет пользователям выбирать интересующие подмножества данных на основе производительности модели для дальнейшей проверки (Рисунок 3b.)
  Рисунок 3b
  • Атрибут : Затем Manifold выделяет различия в распределении функций между выбранными подмножествами данных, помогая пользователям найти причины, лежащие в основе результатов производительности (Рисунок 3c).
  Рис. 3c

  Наша цель с Manifold — сравнить, как разные модели работают с разными точками данных (другими словами, значениями признаков).В качестве альтернативы дизайна, прямая реализация этой визуализации изображена на Рисунке 4 ниже:

  Рисунок 4. Этот прототип визуализации отображает производительность модели в пространстве данных, при этом каждая точка данных позиционируется на основе ее производительности (ось x) и значения одной из ее характеристик (ось y).

  На рисунке 4 каждая точка на графике представляет производительность модели x по точке данных y . Хотя эта концепция работает в теории, на практике этот подход сталкивается с тремя основными проблемами:

  • В облаке точек слишком много точек, чтобы четко идентифицировать закономерности; требуется некоторая абстракция или сокращение точек, чтобы выявить закономерности.
  • Трудно точно определить, какие функции являются наиболее ценными для оси Y для использования в целях выявления соответствующих закономерностей в облаке точек.
  • С увеличением количества моделей становится все труднее сравнивать разные модели.

  Для упреждающего решения этих проблем мы реализовали следующее агрегирование / упрощение: вместо того, чтобы представлять каждую точку данных отдельно, мы группируем их в подмножества. Вместо того, чтобы использовать ось Y для кодирования значения конкретной функции, мы превращаем ее в категориальную ось, представляющую различные подмножества данных.Этот подход превратился в нашу окончательную диаграмму производительности, что привело к двум значительным преимуществам:

  • Сходные точки данных не будут дублироваться на диаграмме. Выделены только самые заметные, высокоуровневые различия.
  • Поскольку количество фигур в диаграмме уменьшается, различные модели могут быть нанесены на одну диаграмму для лучшего сравнения.

  Ключом к выявлению закономерностей в представлении «Сравнение производительности» было разделение тестового набора данных на подмножества.В Manifold подмножества автоматически генерируются с использованием алгоритма кластеризации на основе одного или нескольких столбцов производительности. Таким образом, данные с одинаковой производительностью для каждой модели группируются вместе (поскольку алгоритм обеспечивает согласованность между собой производительности модели Model X для разных точек данных в подмножестве Y ). Рисунки 5 и 6 ниже иллюстрируют этот процесс:

  Рис. 5. Все точки данных собираются из каждой модели и получают метрику производительности после сопоставления с достоверной информацией.

  Рисунок 6. Слева: показатели производительности используются в качестве входных данных для алгоритма кластеризации, запущенного в Manifold. Справа: пользователи могут изменять параметры кластеризации для изучения закономерностей в наборе данных.

  Архитектура коллектора

  Поскольку создание визуализаций Manifold включает в себя некоторые интенсивные численные вычисления (кластеризация, KL-дивергенция), производительность вычислений ниже среднего замедляет рендеринг пользовательского интерфейса и влияет на общее взаимодействие с пользователем.Имея это в виду, мы начали реализовывать все тяжелые вычисления на Python, используя его оптимизированную обработку DataFrame и библиотеки машинного обучения (такие как Pandas и Scikit-Learn).

  Однако необходимость полагаться на бэкэнд Python сделала Manifold менее гибким и сложным для компонентов, что стало недостатком, когда дело дошло до интеграции Manifold с более крупной экосистемой машинного обучения в Uber, например с нашей платформой машинного обучения Michelangelo. Поэтому в дополнение к вычислениям на Python мы добавили второй путь рабочего процесса пользователя с ускорением графического процессора, полностью написанным на JavaScript, гораздо более гибком языке.

  На рисунке 7 ниже показано, как два рабочих процесса интегрируются с Manifold:

  Рисунок 7. Архитектура Manifold состоит из трех отдельных частей: источника данных, серверной части и внешнего интерфейса.

  Пользователи могут использовать Manifold двумя способами: через пакет Python или пакет npm (через веб-страницу). Поскольку повторное использование кода и модульность имеют решающее значение для сосуществования двух рабочих процессов, кодовые базы Python и JavaScript организованы в три разных функциональных модуля:

  • Преобразователь данных , функция, которая адаптирует форматы данных из других внутренних служб (например,грамм. Микеланджело) во внутренний формат представления данных Manifold
  • Вычислительный механизм , функция, отвечающая за выполнение кластеризации и других вычислений с большим объемом данных
  • Интерфейсные компоненты, Пользовательский интерфейс системы визуальной аналитики Manifold (в его пакете Python используется встроенная версия интерфейсных компонентов JavaScript)

  В отличие от своего аналога на Python, обработка интенсивных вычислений является сложной задачей для нашего вычислительного механизма JavaScript.Чтобы пользователи увидели осмысленные закономерности, требуется около 10 000 записей данных («строк»). Кластеризация и вычисление KL-дивергенции, помимо других действий, должны выполняться во внешнем интерфейсе, что может стать узким местом для скорости и серьезно ухудшить взаимодействие с пользователем. Фактически, согласно нашим экспериментам, вычисления, реализованные на простом JavaScript, могут занимать в браузере более десяти секунд каждый раз, когда пользователь обновляет количество кластеров в представлении сравнения производительности.

  Вместо этого мы используем TensorFlow.js в качестве служебной библиотеки линейной алгебры для реализации нашей кластеризации k-средних и вычислений KL-дивергенции. Поскольку этот тип вычислений можно векторизовать и, следовательно, ускорить с помощью WebGL через TensorFlow.js, та же задача по обновлению количества кластеров может быть выполнена за доли секунды — более чем в 100 раз по сравнению с исходной производительностью.

  Компонентность и содержание в пакете npm дает Manifold гибкость, позволяющую использовать его как автономную службу, а также интегрировать в другие системы машинного обучения в масштабах компании, такие как Michelangelo.Поскольку большинство наборов инструментов визуализации для машинного обучения требуют дополнительных вычислительных процессов, помимо тех, которые включены в бэкэнд обучения модели, их интеграция с корпоративными системами машинного обучения может быть обременительной или не масштабируемой. Manifold предлагает решение этой ситуации, обрабатывая вычисления, необходимые в системе визуальной аналитики, отдельно от вычислений, необходимых для обучающих моделей, и, следовательно, обеспечивая более быструю итерацию и более чистый интерфейс данных.

  Использование коллектора в Uber

  команд, занимающихся машинным обучением, в Uber используют Manifold для всего, от прогнозирования расчетного времени прибытия до лучшего понимания моделей безопасности водителей.Ниже мы рассмотрим два из наших наиболее распространенных случаев использования: определение полезных функций моделей машинного обучения и устранение ложноотрицательных результатов в результатах моделирования. В этих случаях Manifold позволяет специалистам по обработке данных находить идеи, которые помогают им в процессе итерации модели.

  Определение полезных функций

  Команда Uber Eats использовала Manifold для оценки эффективности новой модели, прогнозирующей время доставки заказа. Во время итерации модели они интегрировали дополнительный набор функций, которые, по их мнению, могут улучшить производительность существующей модели.Однако после того, как они включили эти функции, общие характеристики модели практически не изменились. Почему новые функции не помогли? Должны ли они отказаться от идеи использования этих функций или есть что-то еще виноватое в этой некачественной производительности?

  Чтобы ответить на эти вопросы, они использовали модели, изображенные на рисунке 8 ниже — исходную модель (зеленый) и модель, обученную с дополнительными функциями (оранжевый) — в качестве входных данных для Manifold. Все остальные аспекты этих двух моделей были идентичны.

  Рисунок 8. Manifold может сравнивать производительность двух моделей (с новыми функциями или без них) на четырех подмножествах данных.

  На рисунке 8 выше показан этот анализ, представленный визуализациями данных Manifold. Как показано, набор тестовых данных был автоматически сегментирован на четыре кластера на основе сходства производительности между точками данных. Для кластеров 0, 1 и 2 модель с дополнительными функциями не дала улучшения производительности. Однако производительность новой модели (модели с дополнительными функциями) была немного лучше в кластере 3, о чем свидетельствует сдвиг логарифма потерь влево.

  Поскольку сегмент данных в кластере 3 был плохо спрогнозирован исходной моделью (на что указывает его более высокое значение логарифмических потерь, чем у других кластеров), мы считаем, что эти функции были полезны для их модели, поскольку они, казалось, решали некоторые из самые сложные индивидуальные случаи, подобные тем, которые представлены в кластере 3.

  Устранение ложноотрицательных результатов

  В другом примере группа безопасности Uber использовала Manifold для улучшения производительности модели двоичной классификации, которая определяет поездки, которые могут привести к нарушениям безопасности.В частности, они хотели исключить количество ложноотрицательных результатов, сгенерированных их моделью (экземпляры, которые должны быть предсказаны как имеющие положительную метку, но модель не смогла зафиксировать), и для этого им необходимо было определить причину, по которой их модель предсказывала бы положительный случай как отрицательный в этих ситуациях.

  Для достижения этой цели они отфильтровали все экземпляры в наборе тестовых данных, помеченных как «Отрицательные», а затем сравнили различия между случаями, помеченными как «Положительные».Они установили метрику оси X диаграммы сравнения производительности на «фактическую оценку прогноза» (1), увеличили количество кластеров (2) и сравнили подмножества, значения которых ниже и выше порога принятия решения (3), как показано. на Рисунке 9 ниже:

  Рисунок 9. Manifold сравнивает производительность всех положительных экземпляров в наборе данных, чтобы определить, есть ли ложноотрицательные.

  В результате мы заметили, что было несколько особенностей (A, B, C, D, E), показывающих заметные различия в распределении между истинно положительной группой (серый цвет) и ложно отрицательной группой (розовый), показанными на Рисунке 10 ниже. .Другими словами, если точка данных имеет низкие значения в функциях A, B, C или D, а ее истинная метка — Положительная, модель имеет тенденцию неправильно предсказывать значение E.

  Рис. 10. В этом сценарии Manifold определила, что ложноотрицательные результаты модели, как правило, имеют низкие значения для функций A, B, C, D и E.

  Для дальнейшего углубления в основную причину этих ложноотрицательных результатов мы напрямую сравнили распределения характеристик положительной группы и отрицательной группы, как показано на Рисунке 11 ниже:

  Рисунок 11.Manifold выявил, что ложноотрицательные результаты, созданные на основе этой модели, как правило, имеют низкие значения для функций A, B, C, D или E.

  Мы заметили, что большинство истинно отрицательных экземпляров также имеют низкие значения для функций A, B, C или D. Следовательно, если у экземпляра низкие значения этих характеристик, модель имеет тенденцию предсказывать их как отрицательные (что иногда неверно!). Проведя этот анализ с Manifold, они поняли, что модель чрезмерно индексирует эти функции. Чтобы повысить производительность, они могли либо найти больше функций, которые помогли бы отличить ложноотрицательные от истинно отрицательных, либо обучить отдельную модель для раздела данных, где эти функции были ниже определенного порога.

  Следующие шаги

  С момента запуска Manifold в августе 2018 года этот инструмент стал неотъемлемой частью процесса разработки модели машинного обучения Uber. Три основных преимущества Manifold включают в себя: независимость от модели, визуальную аналитику для оценки производительности модели, которая выходит за рамки сводной статистики производительности модели на предмет неточностей, и возможность разделить систему визуальной аналитики и стандартные вычисления для обучения модели, чтобы облегчить более быструю и гибкую разработку модели.

  В настоящее время Manifold представляет собой автономный веб-инструмент и пакет Python.Чтобы повысить функциональность Manifold, мы планируем интегрировать набор инструментов Manifold в бесчисленное множество платформ для анализа данных Uber, сделав этот инструмент ключевой частью нашего более широкого рабочего процесса в области анализа данных. Поступая таким образом, мы сможем по-настоящему увеличить потенциал агностицизма Manifold в отношении различных сценариев использования науки о данных в компании. Исходя из этого, мы намерены внести улучшения в дизайн на основе этих приложений, тем самым обеспечив более надежную поддержку этих вариантов использования.

  Если вас интересует решение крупномасштабных инженерных задач с помощью машинного обучения и визуализации данных, подумайте о том, чтобы подать заявку на роль в нашей команде!

  Благодарности

  Мы хотели бы поблагодарить команду разработчиков платформы визуализации и машинного обучения Uber за их поддержку во время разработки этого проекта.Мы также благодарим Пьеро Молино из Uber AI Labs и Цзявэй Чжан за работу с нами над идеей и исследовательским прототипом Manifold , а также ученых данных Uber Ле Нгуен и Санни Чон за их неоценимую поддержку при создании этого инструмента. .

  Список литературы

  1. М. Канг, П. Ю. Эндрюс, А. Калро и Д. Х. Чау, «ActiVis: визуальное исследование моделей глубоких нейронных сетей промышленного масштаба», в IEEE Transactions on Visualization and Computer Graphics , vol.24, вып. 1. С. 88-97, январь 2018 г.
  2. Y. Ming, S. Cao, R. Zhang, Z. Li, Y. Chen, Y. Song и H. Qu. Понимание скрытых воспоминаний о повторяющихся нейронных сетях. препринт arXiv arXiv: 1710.10777 , 2017.
  3. Л. Падуя, Х. Шульце, К. Маткович и К. Делриё. Интерактивное ´ исследование пространства параметров в интеллектуальном анализе данных: понимание предсказательного качества больших коллекций деревьев решений. Компьютеры и графика, 41: 99–113, 2014
  4. Дж. Чжан, Ю. Ван, П.Молино, Л. Ли и Д. С. Эберт, «Многообразие: модель-агностическая структура для интерпретации и диагностики моделей машинного обучения», в IEEE Transactions on Visualization and Computer Graphics , vol. 25, нет. 1, стр. 364-373, январь 2019 г.

  Что такое Manifold Learning? | Вечная загадка

  Машинное обучение широко используется в таких областях, как компьютерное зрение, обработка естественного языка и интеллектуальный анализ данных. Во многих создаваемых современных приложениях мы обычно выводим классификатор или модель из чрезвычайно большого набора данных.Точность алгоритмов обучения прямо пропорциональна количеству данных, которые у нас есть. Таким образом, большинство современных наборов данных часто состоит из большого количества примеров, каждый из которых состоит из множества функций. Доступ к большому количеству примеров очень полезен для извлечения хорошей модели из данных, но управление большим количеством функций обычно является бременем для нашего алгоритма. Дело в том, что некоторые из этих функций могут быть неактуальными, поэтому важно убедиться, что это не повлияет на окончательную модель.Если наборы функций сложные, то наш алгоритм будет замедляться, и будет очень сложно найти глобальный оптимум. В этой ситуации хорошим подходом было бы уменьшить количество имеющихся у нас функций. Но если мы сделаем это неосторожно, мы можем потерять информацию. Мы хотим уменьшить количество функций, сохранив при этом максимальный объем информации. При чем тут многообразное обучение? Почему мы заботимся об уменьшении размерности наших данных?

  Прежде всего, что такое «размерность»?

  Размерность относится к минимальному количеству координат, необходимых для определения любой точки в пространстве или объекте.Таким образом, линия имеет размерность 1, потому что для определения точки на ней нужна только одна координата. Если вы рассматриваете числовую линию, вы можете просто выбрать число, и вы узнаете, где оно находится. С другой стороны, плоская поверхность имеет размерность 2, потому что для определения точки на ней необходимы две координаты. Поэтому пытаться найти «5» на поверхности бессмысленно, потому что вам нужно указать и другие координаты. В качестве довольно элементарного примера рассмотрим классную комнату. Чтобы однозначно идентифицировать кого-то, вам нужны и имя, и фамилия.Иногда имя и фамилия двух студентов могут совпадать, поэтому нам может понадобиться и отчество. Таким образом, размерность для этого случая можно считать 3.

  Что такое уменьшение размерности?

  Причина, по которой мы обсуждаем это, заключается в том, что каждая форма данных должна быть преобразована в набор функций, прежде чем мы будем анализировать ее. Например, если вы хотите анализировать изображения, нам нужно преобразовать их в форму, которая может использоваться алгоритмами машинного обучения. Этот процесс называется извлечением признаков.Если вы хотите, чтобы набор функций оставался простым, он обязательно должен иметь низкую размерность. Хотя это хорошо с точки зрения сложности, набор функций может не быть уникальным и отличным. В нашем предыдущем примере это похоже на выбор только имени. Вы не сможете однозначно идентифицировать всех в классе. С другой стороны, если вы сохраните высокую размерность, он будет красивым и уникальным, но его будет нелегко проанализировать из-за сложности.

  Помимо упрощения данных, уменьшение размерности имеет и другие применения.Давайте на минутку рассмотрим процесс визуализации. Если данные находятся в 100-мерном пространстве, мы не можем интуитивно понять, как они выглядят. Мы с трудом можем представить себе 4-е измерение, не говоря уже о 100-м! Однако, если можно найти осмысленное двух- или трехмерное представление данных, то его можно визуализировать. Хотя это может показаться тривиальным моментом, многие статистические алгоритмы и алгоритмы машинного обучения имеют очень плохие гарантии оптимальности, поэтому возможность фактически видеть данные и выходные данные алгоритма представляет большой практический интерес.

  Как уменьшить размерность?

  Существует множество подходов к уменьшению размерности, основанных на различных предположениях. Мы сосредоточимся на подходе, основанном на наблюдении, что многомерные данные часто намного проще, чем может показывать размерность. Если вы рассмотрите наш пример классной комнаты, кто-то может придумать 50-мерную функцию, чтобы однозначно идентифицировать каждого ученика. Набор функций может включать имя, адрес, возраст, вес, рост и т. Д.Хотя это может служить нашей цели, распределение данных в конечном итоге окажется очень сложным.

  Данный набор многомерных данных может содержать множество функций, которые являются измерениями одной и той же основной причины. Следовательно, они тесно связаны друг с другом. Например, это может произойти, когда вы снимаете видеосъемку одного объекта одновременно с нескольких ракурсов. Как вы понимаете, в информации, полученной всеми этими камерами, будет много совпадений. Хранение всех этих данных было бы избыточным и только замедлило бы нашу систему.Было бы полезно получить упрощенное и неперекрывающееся представление данных, особенности которого можно идентифицировать с помощью базовых параметров, которые управляют данными.

  Интуиция в предыдущем абзаце формализована с помощью понятия «многообразие». Набор данных расположен вдоль низкоразмерного многообразия, встроенного в многомерное пространство, где низкоразмерное пространство отражает основные параметры, а многомерное пространство является пространством признаков. Попытка раскрыть эту многообразную структуру в наборе данных называется многократным обучением.Обучение многообразию — это метод нелинейного уменьшения размерности. Итак, чтобы обсудить это, нам нужно понять, что такое уменьшение линейной размерности.

  Что такое уменьшение линейной размерности?

  Возможно, самый популярный алгоритм уменьшения размерности — это анализ главных компонентов (PCA). Учитывая набор данных, PCA находит направления, по которым данные имеют максимальную дисперсию, в дополнение к относительной важности этих направлений. Например, предположим, что мы передаем набор трехмерных точек, которые все лежат на двухмерной плоскости, в PCA.PCA вернет два вектора, которые охватывают плоскость, а также третий вектор, ортогональный плоскости. Двум векторам, охватывающим плоскость, будет присвоен положительный вес, но третий вектор будет иметь нулевой вес, поскольку данные не изменяются в этом направлении. PCA наиболее полезен в случае, когда данные лежат на линейном подпространстве набора данных или близко к нему. Учитывая этот тип данных, PCA найдет основу для линейного подпространства и позволит игнорировать нерелевантные особенности. Я уже говорил об этом подробнее здесь.

  Что такое многообразное обучение?

  Было бы странно просматривать весь этот пост и не знать, что означает «коллектор». Многообразие — чрезвычайно важное понятие в математике. С точки зрения непрофессионала, вы можете думать об этом как о поверхности любой формы. Он не обязательно должен быть плоским, т.е. он может иметь форму сложенного листа со всеми изгибами. Это обобщено до «n» измерений и формализовано как «многообразие» в математике. Если вам интересно, вы можете просто погуглить и прочитать об этом больше.В сети доступно множество интересных визуализаций.

  Теперь мы готовы обсудить многообразное обучение. Алгоритмы обучения многообразию можно рассматривать как нелинейную версию PCA. Мы обсудили важность уменьшения размерности. Если вы подумаете о таких подходах, как PCA, вы поймете, что мы проецируем данные на некую низкоразмерную поверхность. Но это ограничение в том смысле, что все эти поверхности линейны. Что, если лучшее представление лежит на поверхности какой-то странной формы? PCA этого полностью упустит.Как вы можете видеть на этом рисунке, точки данных распределены в форме швейцарского рулона. В этой ситуации PCA не будет работать очень хорошо, потому что он будет искать плоскую поверхность для описания этих данных. Но проблема в том, что плоской поверхности не существует. Таким образом, мы получаем неоптимальное представление данных. Обучение многообразию очень эффективно решает эту проблему.

  Как мы это визуализируем?

  Алгоритмы для этой задачи основаны на идее, что размерность многих наборов данных только искусственно завышена.Хотя точки данных могут состоять из тысяч функций, их можно описать как функцию только нескольких основных параметров. То есть точки данных на самом деле являются выборками из низкоразмерного многообразия, встроенного в многомерное пространство. Алгоритмы обучения многообразию пытаются раскрыть эти параметры, чтобы найти низкоразмерное представление данных.