Поэт рассказывал, что вырос в Сибири и был воспитан дедом со стороны матери — шведским аристократом Йенсоном, натуралистом и охотником на белых медведей. По одной версии, отец Пэнна — учитель иврита и потомок раввинов — влюбился в русскую няню-субботницу, присматривавшую за детьми. По другой версии, мать поэта — Сара — ушла из секты субботников и изучала медицину в Вене, где встретила его будущего отца.