Полученная матрица ошибок представлена на следующем рисунке. Представьте себе человека, который пользуется всеобщим доверием; когда он что-то предсказывает, окружающие ему верят. Если она высока, вы можете доверять решению модели по определению очередной выборки как Constructive. Таким образом, precision помогает узнать, насколько точна модель, когда она говорит, что семпл имеет класс Optimistic.
Стоит учесть, что метрика accuracy может быть обманчивой. Предположим, у нас есть всего 600 единиц данных, из которых 550 относятся к классу Positive и только 50 — к Unfavorable. Поскольку большинство семплов принадлежит к одному классу, accuracy для этого класса будет выше, чем для другого. Для получения дополнительной информации о характеристиках модели используется матрица ошибок (confusion matrix). Матрица ошибок помогает нам визуализировать, «ошиблась» ли модель при различении двух классов. Названия строк представляют собой эталонные метки, а названия столбцов — предсказанные.
Identical That Means In Certain Sentences One Might Sound Higher Than The Opposite Accuracy Is Used Extra Typically Than Precision
Эти модели принимают изображение в качестве входных данных и возвращают координаты прямоугольника, ограничивающего пространство вокруг каждого найденного объекта. Главной задачей является восстановление этого дома эпохи колониализма с полной исторической достоверностью. Точность обязательна для всех, кто работает в точной профессии. Вы бы доверились хирургу, которому не хватает аккуратности, чтобы удалить ваш аппендикс? Его неточность может привести к случайному удалению вашей селезенки.
Точно так же может быть получена матрица ошибок для Black. Сравните достоверные и полученные метки — мы имеем 4 верных и 3 неверных предсказания. Стоит добавить, что изменение граничного условия отражается на результатах. Например, установка порога, равного zero.6, оставляет только два accuracy это неверных прогноза. В компьютерном зрении обнаружение объекта — это проблема определения местоположения одного или нескольких объектов на изображении.
Метеоролог с сомнительной точностью тоже не будет популярен, особенно когда каждый раз, когда он предсказывает солнечный день, идет дождь. «Я печатаю очень быстро, но точность моего набора не очень хорошая». В своих рекомендациях по инвестированию он оговаривает тот момент, что поведение фондового рынка невозможно предугадать с абсолютной точностью. Атомные часы позволили учёным измерять время с гораздо большей точностью. Их решения были основаны на данных сомнительной точности.
Accuracy, Precision И Recall
Recall измеряет способность модели обнаруживать выборки, относящиеся к классу Positive. Чем выше recall, тем больше Optimistic семплов было найдено. Рассчитаем accuracy с помощью Scikit-learn на основе ранее полученной матрицы ошибок. Переменная acc содержит результат деления суммы True Constructive и True Adverse метрик на сумму всех значений матрицы.
Решение о том, следует ли использовать precision или recall, зависит от типа вашей проблемы. Если цель состоит в том, чтобы обнаружить все optimistic выборки (не заботясь о том, будут ли unfavorable семплы классифицированы как positive), используйте recall. В этом руководстве обсуждалась матрица ошибок, вычисление ее 4 метрик (true/false positive/negative) для задач бинарной и мультиклассовой классификации. Используя модуль metrics библиотеки Scikit-learn, мы увидели, как получить матрицу ошибок в Python. Recall рассчитывается как отношение числа Positive выборок, корректно классифицированных как Constructive, к общему количеству Optimistic семплов.
Таким образом, accuracy, равная 0.5714, означает, что модель с точностью 57 https://deveducation.com/,14% делает верный прогноз. Чтобы вычислить матрицу ошибок для задачи с большим числом классов, используется функция multilabel_confusion_matrix(), как показано ниже. В дополнение к параметрам y_true и y_pred третий параметр labels принимает список классовых меток. Precision измеряет точность модели при определении класса Constructive.
- В модуле sklearn.metrics есть функция precision_score(), которая также может вычислять accuracy.
- В оставшейся части этого текста мы сосредоточимся только на двух классах.
- Например, установка порога, равного zero.6, оставляет только два неверных прогноза.
- Модуль sklearn.metrics применяется для расчета каждого вышеперечисленного показателя.
- Представьте себе человека, который пользуется всеобщим доверием; когда он что-то предсказывает, окружающие ему верят.
Основываясь на этих four показателях, мы Функциональное тестирование перешли к обсуждению accuracy, precision и recall метрик. Каждая из них была определена и использована в нескольких примерах. Модуль sklearn.metrics применяется для расчета каждого вышеперечисленного показателя. Представьте, что вам дали изображение и попросили определить все автомобили внутри него.
Теперь предположим, что вам дали снимок с результатами маммографии, и вас попросили определить наличие рака. Таким образом, предпочтительным показателем в данном случае является precision. Если recall имеет большое значение, все Constructive семплы классифицируются верно. Следовательно, модели можно доверять в ее способности обнаруживать представителей класса Constructive. В этом руководстве обсуждается матрица ошибок и то, как рассчитываются precision, recall и accuracy метрики.
Функция вычисляет матрицу ошибок для каждого класса и возвращает все матрицы. Их порядок соответствует порядку меток в параметре labels. Чтобы изменить последовательность метрик в матрицах, мы будем снова использовать функцию numpy.flip(). Параметр pos_label принимает метку класса Optimistic (по умолчанию 1).
Поскольку цель состоит в том, чтобы обнаружить все автомобили, используйте recall. Такой подход может ошибочно классифицировать некоторые объекты как целевые, но в конечном итоге сработает для предсказания всех автомобилей. Подобно precision_score(), функция repl_score() из модуля sklearn.metrics вычисляет recall. Следующий код вычисляет матрицу ошибок для примера двоичной классификации, который мы обсуждали ранее. Мы можем рассчитать эти четыре показателя для семи предсказаний, использованных нами ранее.