Real-time Image Processing for Microscopy-based Label-free Imaging Flow Cytometry in a Microfluidic Chip

Abstract

Imaging flow cytometry (IFC) is an emerging technology that acquires single-cell images at high-throughput for analysis of a cell population. Rich information that comes from high sensitivity and spatial resolution of a single-cell microscopic image is beneficial for single-cell analysis in various biological applications. In this paper, we present a fast image-processing pipeline (R-MOD: Real-time Moving Object Detector) based on deep learning for high-throughput microscopy-based label-free IFC in a microfluidic chip. The R-MOD pipeline acquires all single-cell images of cells in flow, and identifies the acquired images as a real-time process with minimum hardware that consists of a microscope and a high-speed camera. Experiments show that R-MOD has the fast and reliable accuracy (500 fps and 93.3% mAP), and is expected to be used as a powerful tool for biomedical and clinical applications.

Deep Learning in Image Cytometry: A Review

“…They thereafter extracted the activations in the last layer of the network, and with non‐linear dimensionality reduction reconstructed the correct temporal progression of the full cell cycle. Young et al developed a real‐time CNN‐based method to count and identify cells in high‐throughput microscopy‐based label‐free IFC. However, deep learning in IFC is still mostly uncharted territory, and the expectations are high that CNNs will reduce manual tuning, subjective interpretation, and variation in the analysis of this data .…”

Classifying T cell activity in autofluorescence intensity images with convolutional neural networks

“…For instance, to sort T cells in practice, the classifier would need to be coupled to a flow sorter. The flowing nature of the cells may make the resulting images different enough to require a distinct CNN, which is not an obstacle given recent advances in CNNs for imaging flow cytometry 10,21,22,34,48,49 . Overall, our strong results demonstrate the feasibility of classifying T cells directly from autofluorescence intensity images, which can guide future work to bring this technology to pre-clinical and clinical applications.…”

Una Revisión Sistemática de Métodos para Localizar Automáticamente Objetos en Imágenes

“…A diferencia de las estrategias desarrolladas para la detección de objetos en vehículos autónomos donde se analizan imágenes en entornos naturales, en los sistemas CAD es necesario considerar las características de diferentes tipos de imágenes, adquiridas en condiciones más controladas y con equipos especializados como por ejemplo: resonancia magnética, tomografía axial computarizada, ultrasonido y microscopía (patología), entre otros. Muchos de estos métodos se inspiran en estrategias de detección de objetos con ventana deslizante (Ȓíha et al, 2013;Tek, 2013;Jung et al, 2013;Dženan et al, 2014;He et al, 2018), otros en conjuntos de regiones candidatas (Cireşan et al, 2013;Ma et al, 2017), y recientemente, en estrategias de aprendizaje profundo (Jiamin et al, 2017;Akselrod-Ballin et al, 2016;Kisilev et al, 2016;Sa et al, 2017;Yang et al, 2017;Heo et al, 2017) Ríha et al (2013) adaptan VJ para detectar el corte transversal de la arteria carótida en imágenes de ultrasonido obtenidas en modo B simple y para la descripción de las regiones emplean las características de Haar y el coeficiente de Matthews. Además, durante el entrenamiento del detector en cascada se utiliza el algoritmo de AdaBoost con una estrategia evolutiva.…”

“…Además, la localización previa es fundamen-tal en el análisis automático de imágenes, cuyo objetivo puede ser la segmentación, que consiste en separar los objetos de interés del fondo, en el reconocimiento o recuperación de objetos (Saikia et al, 2017;García-Olalla et al, 2018), o en el análisis de la relación espacial entre los objetos contenidos en una imagen (Lampert et al, 2008). Actualmente, hay una gran cantidad de aplicaciones que requieren una localización precisa de los objetos, como es el caso de la necesidad que tienen los vehículos autónomos de localizar peatones (Dollár et al, 2009;Li et al, 2018;Du et al, 2017;Brazil et al, 2017;Wang et al, 2018) u obstáculos (Shah et al, 2018;Yi et al, 2018;Garnett et al, 2017;Sepúlveda et al, 2017), la localización de vehículos en sistemas de control de tráfico, se encuentren o no en imágenesáereas (Zhong et al, 2017;Ammour et al, 2017;Tang et al, 2017;Xu et al, 2017a;Lee et al, 2017), la localización de lesiones o anormalidades en tejidos que usan los sistemas de diagnóstico clínico asistido por computador (He et al, 2018;Ma et al, 2017;Jiamin et al, 2017;Sa et al, 2017;Heo et al, 2017), la detección de objetos para el control de calidad que requieren los sistemas de inspección visual (Cao et al, 2018;Chen et al, 2018;Shi et al, 2017;Ferguson et al, 2017), o la localización de obstáculos que tienen que realizar los sistemas de navegación de robots (Lee et al, 2015;Luo et al, 2017), entre otras. Sin embargo, la correcta localización de objetos es difícil debido a múltiples factores, entre los que destacan la falta de calidad de la imagen, condiciones de iluminación cambiantes, objetos con forma no rígida o los cambios en la apariencia de los objetos a localizar (Felzenszwalb et al, 2010;…”