Objetivo: Este estudo objetivou avaliar o desempenho de chatbots de inteligência artificial na identificação de problemas relacionados à amamentação. Método: o estudo avaliou o OpenAI ChatGPT3.5, Microsoft Copilot, Google Gemini e o Lhia na identificação de problemas da amamentação. O chatbot Lhia está em desenvolvimento pelo nosso time de pesquisadores. Através do consenso entre profissionais de saúde especialistas em amamentação, foi criado um conjunto de dados de relatos de queixa clínica principal anotada em prontuários de atendimento do Hospital Universitário da Universidade Federal do Maranhão para os testes com três abordagens de comandos do tipo zero-shot. Resultados: o melhor desempenho foi com ChatGPT-3.5, que apresentou acurácia variando de 79% a 93%, fallback de 0% a 7% e F1-score de 75% a 100%. Conclusão: chatbots de inteligência artificial podem ser uma ferramenta promissora para auxiliar mães e profissionais de saúde na detecção precoce de problemas na amamentação.