Convolutional neural network weights regularization via orthogonalization

Gayer, Alexander V.; Sheshkus, Alexander

doi:10.1117/12.2559346

Cited by 6 publications

(6 citation statements)

References 0 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Ще один з підходів до підвищення узагальнюючої здатності висуває вимогу до властивостей вагової матриці шарів [3], а саме її ортогональності, лінійна незалежність вагових векторів нейронів забезпечує ідентифікацію різних особливостей зображення і підвищує здатність до узагальнення.…”

Section: применение сверточных нейронных сетей к задачам классификациunclassified

“…Для проведення обчислювальних експериментів використовувалась базова архітектура згорткової мережі, опис якої згідно до введених означень має вигляд: «Cnv( [3,3], 32, «ReLU») > Sbs( [2,2]) > Flt() > Fcn(128, «ReLU») > Fcn(10, «Softmax»)». Для навчання та тестування роботи мережі було використано базу даних рукописних цифр MNIST, яка складається з 70000 зображень у відтінках сірого 28х28 пікселів.…”

Section: применение сверточных нейронных сетей к задачам классификациunclassified

“…На рис. 3 наведено залежності точності класифікації та значення похибки в залежності від кількості епох навчання для мережі, яка відрізняється від базової наявністю додаткової пари згорткового Cnv( [3,3], 32, «ReLU») та підвибіркового шарів Sbs( [2,2]).…”

Section: рис 2 графік тренувань базової згорткової мережі (100 епох)unclassified

“…Застосування L2 регуляризації має алгоритмічну складність, яка порівняна із стандартною метрикою похибки. [3,3], 50, «ReLU») > Flt() > Fcn(128, ReLU) > > Fcn (10,Softmax) та рекомендовано застосовувати L2 регуляризацію під час навчання.…”

Section: рис 4 Cnv([5 5] 6 «Relu») > Cnv ([3 3] 50 «Relu») > unclassified

See 3 more Smart Citations

Застосування Згорткових Нейронних Мереж До Задач Класифікації Зображень

Huk¹,

Malyshko²

2021

PMMM

View full text Add to dashboard Cite

Роботу присвячено вибору архітектури згорткової нейронної мережі для розв’язання задач класифікації зображень. Побудовано математичну модель нейронної мережі. Для запобігання проблемі перенавчання застосовано регуляризацію Тихонова. Проведено серію обчислювальних експериментів, за якими створено рекомендації щодо проектування архітектури мережі.

show abstract

Section: применение сверточных нейронных сетей к задачам классификациunclassified

Section: рис 2 графік тренувань базової згорткової мережі (100 епох)unclassified

Section: рис 4 Cnv([5 5] 6 «Relu») > Cnv ([3 3] 50 «Relu») > unclassified

See 2 more Smart Citations

Застосування Згорткових Нейронних Мереж До Задач Класифікації Зображень

Huk¹,

Malyshko²

2021

PMMM

View full text Add to dashboard Cite

show abstract

“…Their work improves the classification accuracy of standard architectures over a variety of benchmark datasets. Similarly, [54], [55] have contributed towards the orthogonal regularization of model parameters. Jia et al [55] demonstrated that besides the enhanced accuracy, these models also have a superior natural resistance to common perturbations like blur, weather, digitization etc.…”

Section: Orthogonality In Deep Modelsmentioning

confidence: 99%

Orthogonal Deep Models as Defense Against Black-Box Attacks

et al. 2020

View full text Add to dashboard Cite

Deep learning has demonstrated state-of-the-art performance for a variety of challenging computer vision tasks. On one hand, this has enabled deep visual models to pave the way for a plethora of critical applications like disease prognostics and smart surveillance. On the other, deep learning has also been found vulnerable to adversarial attacks, which calls for new techniques to defend deep models against these attacks. Among the attack algorithms, the black-box schemes are of serious practical concern since they only need publicly available knowledge of the targeted model. We carefully analyze the inherent weakness of deep models in black-box settings where the attacker may develop the attack using a model similar to the targeted model. Based on our analysis, we introduce a novel gradient regularization scheme that encourages the internal representation of a deep model to be orthogonal to another, even if the architectures of the two models are similar. Our unique constraint allows a model to concomitantly endeavour for higher accuracy while maintaining near orthogonal alignment of gradients with respect to a reference model. Detailed empirical study verifies that controlled misalignment of gradients under our orthogonality objective significantly boosts a model's robustness against transferable black-box adversarial attacks. In comparison to regular models, the orthogonal models are significantly more robust to a range of l p norm bounded perturbations. We verify the effectiveness of our technique on a variety of large-scale models. INDEX TERMSDeep learning, adversarial examples, adversarial perturbations, orthogonal models, robust deep learning.

show abstract

An ensemble-policy non-intrusive load monitoring technique based entirely on deep feature-guided attention mechanism

Nie

Yang

2022

Energy and Buildings

View full text Add to dashboard Cite

Convolutional neural network weights regularization via orthogonalization

Cited by 6 publications

References 0 publications

Застосування Згорткових Нейронних Мереж До Задач Класифікації Зображень

Застосування Згорткових Нейронних Мереж До Задач Класифікації Зображень

Orthogonal Deep Models as Defense Against Black-Box Attacks

An ensemble-policy non-intrusive load monitoring technique based entirely on deep feature-guided attention mechanism

Contact Info

Product

Resources

About