İstanbul'un amatör takımlarından Beyoğlu Kapalıçarşı (1994'ten sonra adı Güngören Belediyespor oldu.)'da oynarken keşfedildi.
1990 yılında Trabzonspor'a transfer oldu. Kariyerinin en uzun dönemini Trabzonspor'da geçirdi. 1999–2000 sezonunda Fenerbahçe'ye transfer oldu. Fenerbahçe'deki ilk resmî maçı, 8 Ağustos 1999'da Fenerbahçe - Vanspor Süper Lig maçıdır.
Fenerbahçe'deki son resmî maçı, 15 Mart 2003 tarihinde Elazığspor - Fenerbahçe süper lig maçıdır. 2003-2004 sezonu başında Galatasaray'a transfer olmuştur.2004-05 sezonunda ise İstanbulspor'a transfer olmuştur. İstanbulspor'da 2006 yılında futbolu bırakmıştır. 71 kez A Milli forması giymiştir. Fenerbahçe formasıyla 1, toplamda 2 kez A millî takım kaptanlığı yapmıştır.
4 Büyük kulübün 3'nde forma giyen Ercan, en başarılı olduğu yılları kendisininde mal olduğu Trabzonspor forması altında yaşamıştır. Unutulmaz sol beklerden biri olan Ercan, Bordo-Mavili forma ile çıktığı 240 maçta 14 gol attı. Trabzon'da geçirdiği 9 sezonun ardından 4 sezon F.Bahçe'de 1 sezon G.Saray'da 2 sezonda İstanbulspor'da oynayan Ercan çıktığı 377 maçta 19 gol atmıştır. A Milli Takım'da ise 2 golü bulunmaktadır. Şu anda Türkiye U-17 Milli takımının başında olan Abdullah Ercan'a başarılar dilerim.
