1973-1984 yılları arasında Galatasaray'da geçen futbol hayatından sonra ilk teknik direktörlük kariyerine 1987-88 yılında Ankaragücü ile başlayan Fatih Terim, Başkent ekibinde 2 sezon çalıştıktan sonra 1989-90 sezonunda çok kısa bir süre Göztepe'yi çalıştırdı.
Yine aynı sezon Sepp Piontek'in yardımcılığına getirdi. Terim 1993 yılında Türkitye 21 Yaş altı takımını Akdeniz Oyunları'nda şampiyon yaptıktan sonra, 1993 yılı Ekim ayında Piontek'in yerine A Milli Takımın başına geçti.