O tempo de duração do ciclo de vida no aprendizado por meio de redes neurais profundas depende do acerto em decisões de configuração de dados que levem ao sucesso na obtenção de modelos. A análise de hiperparâmetros e dados da evolução da rede permite adaptações que diminuem o tempo de duração do ciclo de vida. No entanto, há desafios não apenas na coleta de hiperparâmetros, mas também na modelagem dos relacionamentos entre esses dados. Este trabalho apresenta uma abordagem centrada em dados de proveniência para enfrentar esses desafios, propondo uma coleta com flexibilidade na escolha e representação de dados a serem analisados. Experimentos com a abordagem junto ao Keras, usando uma aplicação real com uma rede neural convolucional, dão evidências da flexibilidade, eficiência da coleta de dados, análise e validação dos dados da rede.

Due to the exploratory nature of DNNs, DL specialists often need to modify the input dataset, change a filter when preprocessing input data, or fine-tune the models’ hyperparameters, while analyzing the evolution of the training. However, the specialist may lose track of what hyperparameter configurations have been used and tuned if these data are not properly registered. Thus, these configurations must be tracked and made available for the user’s analysis. One way of doing this is to use provenance data derivation traces to help the hyperparameter’s fine-tuning by providing a global data picture with clear dependencies. Current provenance solutions present provenance data disconnected from W3C PROV recommendation, which is difficult to reproduce and compare to other provenance data. To help with these challenges, we present Keras-Prov, an extension to the Keras deep learning library to collect provenance data compliant with PROV. To show the flexibility of Keras-Prov, we extend a previous Keras-Prov demonstration paper with larger experiments using GPUs with the help of Google Colab. Despite the challenges of running a DBMS with virtual environments, DL analysis with provenance has added trust and persistence in databases and PROV serializations. Experiments show Keras-Prov data analysis, during training execution, to support hyperparameter fine-tuning decisions, favoring the comparison, and reproducibility of such DL experiments. Keras-Prov is open source and can be downloaded from https://github.com/dbpina/keras-prov.

No abstract

O treinamento de redes neurais profundas requer o ajuste de hiperparâmetros. Este processo é custoso e ainda que existam ferramentas para escolha automática da melhor configuração de hiperparâmetros, o usuário é responsável pela decisão final. Para isso, é necessário analisar o impacto de diferentes hiperparâmetros sobre métricas como acurácia e perda. A proveniência é uma forma de representar as relações de derivação de dados, que fornecem um suporte importante nesta análise de dados. Observando as dificuldades para análises de proveniência e aprendizado profundo, propusemos anteriormente uma ferramenta que coleta proveniência diretamente do Keras e permite análises em tempo de execução, chamada Keras-Prov. Para aperfeiçoar suas capacidades analíticas, apresentamos neste artigo uma integração dessa ferramenta com o Elasticsearch e o Kibana, criando um Painel de Proveniência para análise durante o treinamento. Apresentamos uma avaliação experimental dessa integração usando a CNN AlexNet.

As aplicações científicas demandam ambientes de Processamento de Alto Desempenho (PAD). Essas aplicações possuem diversos componentes advindos de bibliotecas e diferentes ambientes, tornando a pilha de software a ser gerenciada no momento da implantação e execução nada trivial. Essa complexidade aumenta caso o usuário necessite acoplar serviços de captura de dados de proveniência à sua aplicação. Este artigo apresenta o ProvDeploy para auxiliar o usuário na configuração de contêineres para sua aplicação com captura de proveniência. O ProvDeploy foi avaliado com uma aplicação intensiva em dados da área de Bioinformática, explorando alternativas de conteinerização em dois ambientes de PAD.