Эдвард Артур Милн родился в Халле 14 февраля 1896 года. В семье было три брата, Эдвард — самый старший из них. Отец занимал должность директора школы англиканской церкви Св. Марии, а мама вела домашнее хозяйство и занималась воспитанием детей — по закону, существовавшему в то время, после замужества она не имела права работать (до этого она была учительницей одной из городских школ). Семья была бедна, но отец и мать понимали, что образование детей — ключ к их лучшей жизни, и много сил отдали этому. Все братья впоследствии выбрали научную карьеру. В 1905 году семья переехала в небольшой соседний городок Хессл, где вплоть до 1908 года Эдвард ходил в школу. Там он получил стипендию для учёбы в колледже Хаймерс в Халле, в котором проучился в течение следующих шести лет, ежедневно добираясь до него из Хессла, находящегося примерно в 10 километрах. Директор Хаймерса, Чарльз Гор, будучи одарённым математиком, привил юноше любовь к своему предмету. Эдвард Милн оставался с Гором в дружеских отношениях на протяжении всей жизни...