We introduce and analyze MT-OMD, a multitask generalization of Online Mirror Descent (OMD) which operates by sharing updates between tasks. We prove that the regret of MT-OMD is of order 1 + σ 2 (N − 1) √T , where σ 2 is the task variance according to the geometry induced by the regularizer, N is the number of tasks, and T is the time horizon. Whenever tasks are similar, that is, σ 2 ≤ 1, this improves upon the √ N T bound obtained by running independent OMDs on each task. Our multitask extensions of Online Gradient Descent and Exponentiated Gradient, two important instances of OMD, are shown to enjoy closed-form updates, making them easy to use in practice. Finally, we provide numerical experiments on four real-world datasets which support our theoretical findings.Preprint. Under review.

L’histoire du Cahier d’un retour au pays natal commence en 1939, lorsque le poème paraît dans la revue Volontés. Pendant près de dix ans, Césaire en modifiera profondément le texte et son travail aboutira à deux éditions en 1947, l’une chez Brentano’s en janvier 1947, l’autre, deux mois plus tard, en mars, chez Bordas, présentant des différences importantes entre elles, dans la forme comme dans l’esprit. Cet article étudie d’un point de vue génétique l’évolution textuelle du poème et s’emploie à mettre au jour les étapes successives de l’élaboration du Cahier. La difficulté d’une telle étude de genèse vient de l’absence à peu près complète d’un manuscrit ; ce sont les différentes éditions successives qui en tiennent lieu, la génétique pratiquée est donc celle de l’imprimé. L’un des résultats de cette étude est que le Cahier a paradoxalement une grande stabilité et qu’il est un texte en mouvement, qui se compose et se recompose au contact des autres poèmes que Césaire écrit pendant cette période décisive des années 1939-1947, alors qu’il explore de multiples voies, en particulier dans la revue Tropiques et dans les revues new-yorkaises Hémisphères et VVV. Le Cahier se trouve à la croisée d’écritures poétiques et de tentatives poétiques multiples, et de ce fait apparaît comme le « miroir de concentration » de l’oeuvre de Césaire en train de s’inventer. Sont ainsi appréhendées les relations que le Cahier entretient avec les poèmes qui entreront en 1946 dans Les armes miraculeuses, comme est étudiée la part du surréalisme que Breton fait découvrir à Césaire en 1941. Toute la production du « jeune Césaire » se trouve de la sorte prise en écharpe dans cette entreprise de génétique.

Issued from Optimal Transport, the Wasserstein distance has gained importance in Machine Learning due to its appealing geometrical properties and the increasing availability of efficient approximations. In this work, we consider the problem of estimating the Wasserstein distance between two probability distributions when observations are polluted by outliers. To that end, we investigate how to leverage Medians of Means (MoM) estimators to robustify the estimation of Wasserstein distance. Exploiting the dual Kantorovitch formulation of Wasserstein distance, we introduce and discuss novel MoM-based robust estimators whose consistency is studied under a data contamination model and for which convergence rates are provided. These MoM estimators enable to make Wasserstein Generative Adversarial Network (WGAN) robust to outliers, as witnessed by an empirical study on two benchmarks CIFAR10 and Fashion MNIST. Eventually, we discuss how to combine MoM with the entropy-regularized approximation of the Wasserstein distance and propose a simple MoM-based re-weighting scheme that could be used in conjunction with the Sinkhorn algorithm.

No abstract

No abstract