Interesanti, ka romantiskajā dzīvē Alans Po bija stipri neaprēķināms un iracionāls. Tā, piemēram, viņam izveidojās ciešas attiecības ar viņa pirmās pakāpes māsīcu Virdžīniju Klemmu vēl tad, kad meitenei bija tikai 13 gadu.
Apprecēja savu pusaugu māsību
Viņi tā pa īstam satikās 1829. gadā, dažus mēnešus pēc Po atgriešanās no dienesta. Pēc septiņiem gadiem, 1836. gadā Ričmondā viņi apprecējās. Kaut arī precības asins radinieku starpā tolaik nebija nekas neparasts, daudzi neizprata lielo gadu starpību.
Diemžēl Virdžīnija 1840. gados smagi saslima ar tuberkulozi un nomira 24 gadu vecumā. Alans Po ļoti mīlēja savu sievu, taču viņam bija arī regulāri sānsoļi un romantiskas aizraušanās ar sava vecuma literātēm un māksliniecēm, ar kurām sakrita visai ekscentriskie uzskati.
Viņas nāve kļuva par Alana Po lielāko “mūzu”, kad tapa slavenākie viņa stāsti, pamazām iegrimstot arvien biežākas dzeršanas nebūtībā.