The continuous growth in the demand of transmission capacity requires high data rates in today's fiber-optic communication systems. Fiber nonlinearity is considered to be the major obstacle in the development of communication capacity. Optical back propagation is one of the ways to address this problem. This thesis explores the performances of optical back propagation under several practical non-ideal conditions. It compares the results of optical back propagation with other nonlinearity control techniques such as digital back propagation and mid-link optical phase conjugation.Optical back propagation is an all optical process which builds into the optical communication systems to compensate for the phase noise caused by fiber nonlinear effects. Aside from previously established simulation results in the literature of optical back propagation under ideal cases, this thesis demonstrates simulation results of optical back propagation under several non-ideal cases. It demonstrates a 5.7dB of power penalty that occurs with a 5dB of optical signal to noise ratio degradation in the system.For further investigation into the optical back propagation system, advanced modulation formats of the optical signals and higher transmission baud rate effects are studied.The results demonstrated in this thesis can also be used to determine the optimum operating system parameters under non-ideal conditions in optical back propagation systems.ii Sommaire La croissance incessante de la demande pour la capacité de transmission crée un besoin pour des taux de transmission de donnéesélevés dans les systèmes de communication par fibres optiques d'aujourd'hui. La non-linéarité de la fibre est considérée comme un obstacle majeur dans le développement de la capacité de communication. La rétro-propagation optique est une des façons de répondreà ce problème. Cette thèse explore les performances de la rétro-propagation optique dans plusieurs conditions pratiques et imparfaites. Les résultats obtenus avec la rétro-propagation optique sont comparésà ceux obtenus avec d'autres techniques de contrôle de la non-linéarité telles que la rétro-propagation numérique et la conjugaison de phase optiqueà mi-chemin.La rétro-propagation optique est un procédé entièrement optique qui s'introduit dans les systèmes de communication optiques pour compenser le bruit de phase causé par les effets non-linéaires de la fibre. En plus des résultats de simulation institués précédemment dans la documentation pour la rétro-propagation dans des conditions idéales, les résultats de simulation pour la rétro-propagation dans des conditions imparfaites sont présentés dans cette thèse. Il est démontré qu'une perte de puissance de 5.7dB est obtenue lorsque la dégradation du rapport signal sur bruit optique dans le système est de 5dB.Pour de plus amples investigations du système de rétro-propagation optique, des formats de modulation avancés pour le signal optique ainsi que l'effet de l'augmentation de la vitesse de transmission en bauds sontétudiés.Les résultats présen...