Спасибо всем, кто посмотрел наше Демо, вы очень помогаете нам становиться лучше!
А сегодня поговорим об общих правилах, соблюдение которых позволит вам строить эффективные модели машинного обучения.
Уделяйте повышенное внимание данным
Никакие вычислительные мощности и передовые технологии не помогут вам, если ваши данные не получены из надежного источника и не собраны надежным способом.
Если дисбаланс классов можно быстро обнаружить с помощью методов исследования данных, то поиск других проблем требует особой внимательности и опыта. Например, если вы сделали все свои учебные фотографии одной и той же камерой, ваша модель может научиться определять уникальный визуальный след вашей камеры и будет плохо работать с изображениями, сделанными другим оборудованием.
Еще один важный момент - необходимость строгого разделения между обучающими и тестовыми данными. Инженеры по машинному обучению обычно откладывают часть данных для тестирования обученной модели. Но иногда тестовые данные просачиваются в процесс обучения, что может привести к созданию моделей машинного обучения, которые плохо обрабатывают данные, собранные в реальном мире.
Лучшее, что вы можете сделать для предотвращения таких проблем, - это выделить подмножество данных в самом начале проекта и использовать этот независимый тестовый набор только один раз для измерения общности одной модели в конце проекта.
Знайте свои модели (а также модели других людей)
В первую очередь необходимо проверить, соответствует ли ваша модель типу вашей задачи. Например, исходя из того, является ли предполагаемый результат категориальным или непрерывным, вам нужно будет выбрать правильный алгоритм машинного обучения вместе с правильной структурой. Типы данных (например, табличные данные, изображения, неструктурированный текст и т.д.) также могут быть определяющим фактором в выборе класса используемой модели.
Избегайте попыток изобрести колесо. Поскольку машинное обучение является одной из самых популярных областей исследований, всегда есть большая вероятность того, что кто-то уже решил проблему, похожую на вашу. В таких случаях разумнее всего будет изучить их работу. Это может сэкономить вам много времени, потому что другие исследователи уже сталкивались и решали проблемы, с которыми вы, скорее всего, столкнетесь в будущем.
Знайте конечную цель и требования к ней
Например, если ваша модель будет использоваться в приложении, которое работает на пользовательских устройствах, а не на больших серверных кластерах, то вы не можете использовать большие нейронные сети, требующие большого объема памяти и пространства для хранения данных. Вы должны разрабатывать модели машинного обучения, которые могут работать в условиях ограниченных ресурсов.
Еще одна проблема, с которой вы можете столкнуться, - это необходимость объяснения. В некоторых областях, таких как финансы и здравоохранение, разработчики приложений обязаны по закону предоставлять объяснения алгоритмических решений, если пользователь этого требует. В таких случаях использование модели "черного ящика" может оказаться невозможным.
Знайте, что измерять и о чем сообщать
Существуют различные способы измерения производительности моделей машинного обучения, но не все они имеют отношение к решаемой вами проблеме.
Например, многие инженеры ML используют "тест на точность" для оценки своих моделей. Тест точности измеряет процент правильных предсказаний, которые делает модель. В некоторых случаях это число может вводить в заблуждение.
Например, рассмотрим набор данных рентгеновских снимков, используемых для обучения модели для выявления рака. Ваши данные не сбалансированы: 90 процентов учебных примеров опухолей признаны доброкачественными, а очень небольшое количество классифицировано как злокачественные. Если ваша обученная модель набрала 90 баллов по тесту точности, возможно, она просто научилась отмечать все как доброкачественные.
На сегодня все, хорошей вам рабочей недели! :)
>>Click here to continue<<
