Categorische kruisentropie is een verliesfunctie die wordt gebruikt in classificatietaken met meerdere klassen. Dit zijn taken waarbij een voorbeeld slechts tot één van de vele mogelijke categorieën kan behoren, en het model moet beslissen welke. Formeel is het ontworpen om het verschil tussen twee kansverdelingen te kwantificeren.
Waarom kruis-entropie gebruiken in plaats van MSE?
Ten eerste is Cross-entropie (of softmax-verlies, maar cross-entropie werkt beter) een betere maatstaf dan MSE voor classificatie, omdat de beslissingsgrens in een classificatietaak groot is(in vergelijking met regressie). … Voor regressieproblemen zou je bijna altijd de MSE gebruiken.
Wat is het verschil tussen schaarse kruisentropie en categorische kruisentropie?
Het enige verschil tussen schaarse categorische kruisentropie en categorische kruisentropie is het formaat van echte labels. Als we een classificatieprobleem met één label en meerdere klassen hebben, sluiten de labels elkaar uit voor elke gegevens, wat betekent dat elke gegevensinvoer slechts tot één klasse kan behoren.
Hoe interpreteer je categorisch kruis-entropieverlies?
Cross-entropie neemt toe naarmate de voorspelde waarschijnlijkheid van een steekproef afwijkt van de werkelijke waarde. Daarom verhoogt het voorspellen van een kans van 0,05 wanneer het werkelijke label een waarde van 1 heeft, het cross-entropieverlies. geeft de voorspelde kans tussen 0 en 1 voor die steekproef aan.
Waarom is kruis-entropie goed?
Over het algemeen is, zoals we kunnen zien, de kruis-entropie gewoon een manier om de waarschijnlijkheid van een model te meten. De kruis-entropie is nuttig omdat het kan beschrijven hoe waarschijnlijk een model is en de foutfunctie van elk gegevenspunt. Het kan ook worden gebruikt om een voorspelde uitkomst te vergelijken met de werkelijke uitkomst.
