Тут сложность не в том, что нет теории. А в неопределённости как самих задач, так и данных. Для обучения и ддля работы.
Сейчас делаются попытки применить нейронные сети в науке. Не как вспомогательные инструменты, типа, классификации каких-то объектов, а для анализа данных и деланья открытий. И вышеуказанные проблемы там встают в полный рост. Проверить, правильно ли сработала нейросеть, легко, когда она физиономии на фото распознает. А когда она заявляет, что нашла новую частицу - крайне тяжело. А вдруг это просто эффект того, что учебные - смоделированные данные чем-то неуловимо отличаются от реальных и это отличие трансформировалось в такой вот вывод о новой частице?
В нашем эксперименте нейронные сети пытались привлекать к анализу неоднократно. Но финальный вывод был такой: если не можете повторить результаты нейронной сети классическими методами, пусть более грубо и менее точно, - вопрос на обсуждение даже не выносите.