Cosmological parameter estimation from large-scale structure deep learning

Large-scale dark matter simulations

“…Thus, it might be possible to use these features to also distinguish among cosmological models and constrain their parameters. The idea of using machine learning to obtain constraints on cosmological parameters has been explored in many recent works (Ravanbakhsh et al 2017;Schmelzle et al 2017;Gupta et al 2018;Fluri et al 2018;Ribli et al 2019;Peel et al 2019;Ntampaka et al 2020;Pan et al 2020;Zorrilla-Matilla et al 2020) and even applied to weak-lensing data (Fluri et al 2019) of the KIDS-450 survey (Hildebrandt et al 2017). These works have used different flavours of deep convolutional neural networks trained on N-body simulations and were typically able to place stronger constraints than traditional clustering analyses based on twopoint functions.…”

Insights into cosmological structure formation with machine learning.

“…This yields a halo collapse model that can describe the non-linear evolution of the density field from any initial location in the simulation. By contrast, prior work often trains 3D CNNs to infer simulation-specific quantities, such as cosmological parameters (Ntampaka et al 2019;Pan et al 2019;Ravanbakhsh et al 2016), the abundance of galaxies at z = 0 for a given voxelization of the simulation (Zhang et al 2019) or the z = 0 displacement field across the entire simulation Ramanah et al (2019), where a Wasserstein generative adversarial network is used to predict the halo count distribution starting from the non-linear density field, and that of , which uses a neural bias model to determine the halo mass distribution from the non-linear density field. These applications differ from our work not only in their implementations, but also in their aim to construct models that can be used as fast alternatives to expensive computational simulations.…”

“…Ball and Brunner (2010); Mehta et al (2019) for reviews of machine learning in astronomy). These include a variety of tasks for large-scale structure analyses (Berger and Stein 2019;Kodi Ramanah et al 2019;Mathuriya et al 2018;Modi et al 2018;Ntampaka et al 2019;Pan et al 2019;Ravanbakhsh et al 2016;Zhang et al 2019), fast automated object identification (Lochner et al 2016;Moss 2018), gravitational lensing studies Jeffrey et al 2019;Schmelzle et al 2017), gravitational waves (Dreissigacker et al 2019;Gebhard et al 2019) and mass estimates of galaxy clusters (Ntampaka et al 2015) and the Local Group (McLeod et al…”

“…Their work was then extended to different deep learning architectures (e.g. Mathuriya et al 2018;Pan et al 2019) and to estimate cosmological parameters from 3D simulated galaxy maps (Ntampaka et al 2019). Other applications of deep learning to cosmological simulations typically involve learning fast mappings which would otherwise require expensive N -body simulations, such as the mappings between the Zel'dovich-displaced and the non-linear density fields , the non-linear density field and the halo distribution Kodi Ramanah et al 2019;Modi et al 2018) and the dark matter and galaxy distributions (Zhang et al 2019).…”

Applications of deep learning in high energy nuclear physics

“…价于一个矩阵， 只具备线性表示能力。 理论证明， 只 要输入层与输出层之间添加一个隐藏层，再加上非 线性激活函数，原则上就可以用有限但足够数量的 神经元无限逼近任意的连续实函数 [10][11] 。这个定 理被称为通用近似定理 (Universal approximation theorem)，它使得我们可以针对不同的问题和数据 结构， 设计相应的人工神经网络， 解决比如分类、 回 归、聚类、非线性特征降维等等复杂的问题。 Bias 输⼊层 隐藏层 输出层 图 1 包含一个隐藏层的人工神经网络的示例 通常来说，我们可以将机器学习处理问题的 方法分成三类：监督学习，无监督学习和强化学 习 [3][4] 1) 。它们之间的差异来自人对机器学习过程 的干预程度不同：监督学习需要给定训练中输入数 据的标签作为监督指导；而无监督学习是机器从数 据自行挖掘其中的模式规律；强化学习则是设定反 馈 (reward) 机制，通过奖励和惩罚来训练智能体 (agent) 对环境的响应。几种方式各有所长，例如监 督学习在图像分类和文本理解等分类回归问题上表 现出色， 无监督学习适用于异常检测、 推荐系统、 大 数据可视化等聚类降维问题， 而强化学习在游戏 AI 以及天气预报等实时决策问题中大放异彩 [4][5] 。基 于以上的成功应用场景，这些新型建模和数据处理 方法正在物理科学研究的各个尺度上大展身手：从 在数万亿天空像素中寻找系外行星，到利用大尺度 结构观测推测宇宙常数，再到在大型强子对撞机事 件中探测信号等 [8,[14][15] 。 此外， 从计算物理角度， 原 有的计算模拟加速效率、优化反问题求解和革新第 一性原理计算技术等等目标也因机器学习社区的蓬 勃发展而受益 [6,[16][17] 。除了使用机器学习方法进行 科学发现和改进计算外，也有超出应用范畴对机器 学习模型进行物理可解释性的探索，比如探讨深度 神经网络提取数据特征和重整化方法的等价性、尝 试直接引入物理规律来改进机器学习性能等 [18][19] 。 以上种种应用和成果同时也在深远地影响着分子动 力学、药物设计、材料设计、成像系统优化和金融 系统分析等与产业结合更紧密的领域 [6,[20][21] 。 在高能核物理领域，由于实验数据量大、模拟 计算需求大和第一性原理计算开销大的特点，深度 学习已经成为必不可少的技术。目前已在如下几个 方面有广泛应用： 探测器设计、 粒子重建和分析、 喷 柱 (Jet) 分类等 [14,[22][23] ；物理模拟的加速、对物态 或物理过程信息的提取等 [24][25][26][27] ；对物理表征方式 的优化、第一性原理计算加速等 [28][29][30][31] ；以及对核天 体物理观测的处理和物态性质的研究 [32][33][34] 。 本文立 足于作者最近的系列工作和新进展，管中窥豹，试 图从相对论重离子碰撞和格点 QCD 计算两个方向 的相关研究出发，简要阐述深度学习在关键物理信 息重建、计算性能改进等方面的应用。 1) 或者按另一种分法，分成判别式学习和生成式学习，后者以表征数据背后的概率分布为核心。除此之外，还发展出了半监督学习、自监督 学习、对比学习以及主动学习等弱监督式的方法 [12][13]…”