Елизавета и Дадли были почти ровесниками, возможно королева годом моложе (тут есть неясность). Детьми они вместе играли и занимались у одного учителя.
17 ноября 1558 года 25-летняя Елизавета взошла на трон и друга детства назначили конюшим (Master of the Horse) королевы.
Первый слушок о том, что Елизавета увлечена своим конюшим, пронесся по двору в апреле 1559 года. Королева действительно часто проводила время в его обществе. Завистливые придворные судачили, что лорду Роберту следовало бы больше внимания уделять своей жене — Эми Робсарт (Amy Robsart). Их брак длился уже девять лет, но детей не было. Когда сплетни достигли ушей королевы, она возмутилась, как можно так дурно думать о ее поведении, ведь она всегда окружена фрейлинами и слугами. "Впрочем, — с достоинством произнесла Елизавета, — если бы мне захотелось или я бы нашла в том удовольствие, то не знаю никого, кто бы мог мне помешать".
8 сентября 1560 года в пустом доме возле лестницы был обнаружен труп жены Роберта.Как подозреваемому в убийстве Дадли было запрещено появляться перед королевой. Следствие пришло к выводу, что имел место несчастный случай.
Когда королеву спрашивали, выйдет ли она за лорда Роберта Дадли, известна ее реакция: "Нет, тогда подданные станут называть меня 'леди Р. Дадли'". Этот брак был бы политическим просчетом, несмотря на то, что в сердце королевы у Роберта не было соперников.
Однажды в Виндзорском дворце на глазах придворных разыгралась непривлекательная сцена. В конце ссоры Елизавета бросила ему в лицо роковую фразу: "Если вы намереваетесь здесь править, я позабочусь, чтобы этого не случилось. Здесь будет только одна госпожа и не будет господина!" После этого их роман худо-бедно длился вплоть до смерти Роберта в 1588 году.