Regularizers stellen u in staat om straffen toe te passen op laagparameters of laagactiviteit tijdens optimalisatie. Deze boetes worden opgeteld in de verliesfunctie die het netwerk optimaliseert. Straffen voor regularisatie worden per laag toegepast.
Wat is activity regularizer?
De activity regularizer werkt als een functie van de output van het net, en wordt meestal gebruikt om verborgen eenheden te regulariseren, terwijl weight_regularizer, zoals de naam al zegt, werkt op de gewichten (bijvoorbeeld door ze te laten vervallen).
Wanneer moet ik activity regularizer gebruiken?
Als u wilt dat de uitvoerfunctie door gaat (of een onderschepping dichter bij) de oorsprong heeft, kunt u de bias-regulator gebruiken. Als je wilt dat de output kleiner is (of dichter bij 0), kun je de activity regularizer gebruiken.
Hoe gebruik ik Keras regularizer?
Om een regularizer aan een laag toe te voegen, hoeft u alleen de gewenste regularisatietechniek door te geven aan het trefwoordargument 'kernel_regularizer' van de laag. De implementatiemethoden van Keras-regularisatie kunnen een parameter leveren die de waarde van de regularisatie-hyperparameter vertegenwoordigt.
Wat is kernel en bias?
Dense class
Dense implementeert de bewerking: output=activatie(dot(input, kernel) + bias) waarbij activatie de elementgewijze activatiefunctie is die wordt doorgegeven als het activatieargument, kernel is een gewichtenmatrix gemaakt door de laag, enbias is een bias-vector die door de laag is gemaakt (alleen van toepassing als use_bias True is).
