Bistâm’ın kuzeyindeki Harakān köyünde çiftçi bir ailenin çocuğu olarak dünyaya geldi. Hicrî yıl hesabıyla yetmiş üç yaşında vefat ettiğine göre 352’de doğmuş olmalıdır. Kaynaklarda ümmî olduğu, Bâyezîd-i Bistâmî’nin mânevî bir işareti üzerine Kur’an okumaya başladığı kaydedilmektedir Harakān’dan Bistâm’a gidip Bâyezîd’in türbesini ziyaret eden Harakānî’nin Bâyezîd-i Bistâmî’nin ruhaniyetiyle terbiye edildiği üveysilik ve şeyhinin Bâyezîd olduğu kabul edilir. Harakānî’nin Bâyezîd ile ilişkileri hakkında bazı menkıbeler de anlatılmaktadır. Mevlânâ Celâleddîn-i Rûmî’nin naklettiği bir menkıbeye göre Bâyezîd Harakān’dan büyük bir velî çıkacağını önceden haber vermişti (Gölpınarlı).
Bâyezîd’in tasavvuf tarzını benimseyen Harakānî’nin Hakk’a ermek için zor riyâzetlere, çetin mücâhede ve çilelere katlandığı bilinmektedir. Bazı kaynaklar Ebü’l-Abbas el-Kassâb’ın müridi olduğunu, Kassâb’ın onun hakkında, “Benden sonra ziyaretçilerim ona yönelecekler” dediğini kaydeder. Harakānî’yi şeyhi Kassâb ile mukayese eden Herevî onun mertebesini şeyhinin mertebesinden daha yüksek bulur (Ṭabaḳāt).
Ebû Saîd-i Ebü’l-Hayr’ın Harakānî’yi ziyarete gittiğinde meclisinde susmayı tercih ettiği, “Neden konuşmuyorsun?” sorusuna, “Bir hususta iki tercümana gerek yok” diye cevap verdiği nakledilir. Ebû Saîd-i Ebü’l-Hayr’ı bast, kendini kabz ehli olarak nitelendiren Harakānî’nin Ebû Saîd’in büyük önem verdiği semâ ve rakstan hoşlanmaması aralarında meşrep farkı bulunduğunu gösterir. Harakānî, hırka ve seccade gibi tasavvufun şeklî unsurlarına önem vermezken Ebû Saîd’in tekkesinde bunlara değer verilmesi bu meşrep farkından ileri gelmektedir. Eserinde Harakānî’ye geniş yer ayıran Attâr, Abdülkerîm el-Kuşeyrî’nin, “Harakān’a gittiğimde Ebü’l-Hasan’ın heybeti ve haşmeti bana o kadar tesir etti ki dilim tutuldu” dediğini nakleder. Ancak şer‘î hükümlere bağlılığı ile tanınan Kuşeyrî’nin er-Risâle’sinde bir sözü dışında Harakānî’ye yer vermediği dikkate alınırsa ondan fazla hoşlanmadığı anlaşılır. Harakānî’nin vaaz ve nasihatlerini, bazı sözlerini, münâcât ve menkıbelerini ihtiva eden ve tek nüshası British Museum’da bulunan Nûrü’l-ʿulûm’u ile Attâr’ın Teẕkiretü’l-evliyâʾ a
Nakşibendiyye silsilesi de önemli bir yer verilen ve Üveysîliği üzerinde özellikle durulan Harakānî, Aynülkudât el-Hemedânî, Necmeddîn-i Dâye, Attâr, Mevlânâ Celâleddîn-i Rûmî gibi büyük mutasavvıfları derinden etkilemiş, (5 Aralık 1033) tarihinde vuku bulan ölümünden sonra da etkisi uzun süre devam etmiştir.
Kazvînî Harakānî’nin kabrinin Bistâm yakınlarındaki Harakān’da bulunduğunu, onu ziyaret edeni şiddetli bir kabz halinin istilâ ettiğini söyler (Âs̱ârü’l-bilâd). VIII. (XIV.) yüzyılda Bistâm’ı ziyaret eden İbn Battûta şehre gelince Bâyezîd-i Bistâmî’nin zâviyesinde kaldığını, Ebü’l-Hasan el-Harakānî’nin kabrinin de bu şehirde olduğunu bildirir (er-Riḥle). Evliya Çelebi, Kars Kalesi’nin III. Murad devrinde Lala Mustafa Paşa tarafından tamir edildiğini anlatırken bir askerin paşa'ya aktardığı rüyasını nakleder. Buna göre asker paşaya, rüyasında gördüğü yaşlı bir zatın kendisinin Ebü’l-Hasan el-Harakānî olduğunu ve makamının burada bulunduğunu söylediğini, kendisinden ayağını bastığı yeri kazmasını istediğini anlatmış, bunun üzerine 100 işçi yeri kazmaya başlamış ve üzerinde, “Menem şehîd ü saîd Harakānî” ibaresi yazılı dört köşe bir somaki mermer bulunmuştur. Gaziler mermeri tekbir ve tevhid ile kaldırınca kabir ortaya çıkmıştır. Yaralı pazusuna sarılı makrome ile sırtındaki hırkasının bile henüz çürümediği görülmüş; vücudunun sağ tarafındaki yarası hâlâ kanamakta imiş. Gaziler yine tekbirle kabri kapatmışlar. Kalenin içine ilk olarak Lala Mustafa Paşa tarafından Ebu'l-Hasan el-Harakānî adına bir tekke ile bir cami inşa ettirilmiştir (Seyahatnâme). Evliya Çelebi'nin anlattığı bu olay, daha sonra yaygınlık kazanarak Kars ve çevresinde Harakānî’nin Kars’ın fethine katıldığı ve burada şehid olduğu şeklinde bir inancın doğmasına yol açmıştır. Kars’ta onun adını taşıyan bir dernek kurulmuş, Nûrü’l-ʿulûm adlı eser bu dernek tarafından tercüme ettirilerek yayımlanmıştır.
