We introduce poly-symplectic extension of Souriau Lie groups Thermodynamics based on higher-order model of statistical physics introduced by R.S. Ingarden. This extended model could be used for small data analytics and Machine Learning on Lie groups. Souriau Geometric Theory of Heat is well adapted to describe density of probability (Maximum Entropy Gibbs density) of data living on groups or on homogeneous manifolds. For Small Data Analytics (Rarified Gases , sparse statistical survey,…), density of maximum entropy should consider Higher Order Moments constraints (Gibbs density is not only defined by first moment but fluctuations request 2nd order and higher moments) as introduced by R.S. Ingarden. We use Poly-sympletic model introduced by Christian Günther, replacing the symplectic form by a vector-valued form. The poly-symplectic approach generalizes the Noether theorem, the existence of momentum mappings, the Lie algebra structure of the space of currents, the (non-)equivariant cohomology and the classification of Ghomogeneous systems. The formalism is covariant, i.e. no special coordinates or coordinate systems on the parameter space are used to construct the Hamiltonian equations. We underline the contextures of these models, and the process to build these generic structures.Keywords: Higher Order Thermodynamics; Lie Groups Thermodynamics; Homogeneous Manifold; Poly-Symplectic Manifold; Dynamical Systems; Non-equivariant Cohomology « … inviter les savants géomètres à traiter nos problèmes avec le soucis de la commodité et de l'agrément : qu'ils écartent tout ce qui n'a rien à voir avec la pénétration de l'esprit, seule qualité dont nous faisons grand cas et que nous nous sommes proposé d'éprouver et de couronner » -Blaise Pascal -Deuxième Lettre sur la roulette, Paris, 19 Juillet 1658 « Nous avons fait de la Dynamique un cas particulier de la Thermodynamique, une Science qui embrasse dans des principes communs tous les changements d'état des corps, aussi bien les changements de lieu que les changements de qualités physiques » -Pierre Duhem, Sur les équations générales de la Thermodynamique, 1891 [25] « Nous prenons le mot mouvement pour désigner non seulement un changement de position dans l'espace, mais encore un changement d'état quelconque, lors même qu'il ne serait accompagné d'aucun déplacement… De la sorte, le mot mouvement s'oppose non pas au mot repos, mais au mot équilibre. » -Pierre Duhem, Commentaire aux principes de la Thermodynamique, 1894 [26, 27, 115]