4 $\begingroup$ Многометочное присвоение — это задача в машинном обучении, заключающаяся в назначении каждому входному значению набора категорий из фиксированного словаря, где категории не обязательно являются статистически независимыми, что исключает возможность построения набора независимых классификаторов, каждый из которых классифицирует входы как принадлежащие или не принадлежащие к каждой из категорий. Машинному обучению также требуется мера, по которой можно оценить модель. Таким образом, вопрос заключается в том, как оценить многометочный классификатор? Мы не можем использовать обычные recall, accuracy и F-меры, поскольку они требуют бинарной оценки «правильно или нет» для каждой категоризации. Без такой меры у нас нет очевидных средств для оценки моделей или измерения концептуального дрейфа.

reference-request performance metric multi-label-classification

Share

Improve this question

Follow

edited Apr 27, 2021 at 7:02 Shayan Shafiq 350 1 1 gold badge 4 4 silver badges 12 12 bronze badges

asked Oct 28, 2020 at 11:27 Nick 271 1 1 silver badge 5 5 bronze badges

$\endgroup$

1

1

$\begingroup$ Мне нравится это обсуждение accuracy: stats.stackexchange.com/q/312780/247274 . Два примера строго корректных scoring rules, которые обсуждает Kolassa, — это кросс-энтропийная потеря (log loss) и метрика Брайера. $\endgroup$ Dave – Dave 2020-10-28 20:04:01 +00:00 Commented Oct 28, 2020 at 20:04 Add a comment |

2 Answers

2

Sorted by: Reset to default

Highest score (default)

Date modified (newest first)

Date created (oldest first)

0

$\begingroup$ Ваша интуиция верна. Мы используем другие метрики для многометочной классификации. Само значение оценки меняется. Помимо выставления оценки классификатору по тому, классифицирует ли он правильно или нет, мы также должны штрафовать его, если он выбирает неправильный класс. Вы можете использовать следующие метрики: микро/макро усреднение Recall/Precision и т.д. Hamming Loss Subset Accuracy

Share

Improve this answer

Follow

answered Oct 29, 2020 at 3:50 Saurav Maheshkar 760 1 1 gold badge 8 8 silver badges 20 20 bronze badges

$\endgroup$

1

$\begingroup$ Возможно, вам стоит кратко описать, как они рассчитываются (или в чем интуиция за ними) или, по крайней мере, предоставить ссылку на исследовательскую статью (или надежную статью), которая объясняет эти метрики/методы измерения. $\endgroup$ nbro – nbro 2020-10-29 11:39:28 +00:00 Commented Oct 29, 2020 at 11:39 Add a comment |

0

$\begingroup$ Даже с бинарным классификатором одна цифра не полностью отражает поведение — матрица путаницы имеет три степени свободы. Тем более с многоклассовой задачей лучше всего выводить всю матрицу путаницы. Затем вы можете выявить проблемы, такие как «класс A большой и хорошо классифицируется, многие B ошибочно классифицируются как C, а немногие D ошибочно отнесены к A, B или C». Еще лучше, вывод матрицы путаницы помогает задуматься о реальных бизнес-целях: какие из этих ошибок наиболее важны на практике?

Share

Improve this answer

Follow

answered Mar 29, 2021 at 16:08 chrishmorris 171 2 2 bronze badges

$\endgroup$

Add a comment |

You must log in to answer this question.

Start asking to get answers

Find the answer to your question by asking.

Ask question

Explore related questions reference-request performance metric multi-label-classification

See similar questions with these tags.