Cem Karaca'nin ilk grubu 1963'te Dinamikler oldu. Seslendirme sanatçısı Fikri Çöze'nin jübile konserinde performans sergilediler. Babası Karaca'nın müzik yapmasına karşıydı. Hatta adam tutup konserlerde onu yuhalatmıştı ancak Karaca bunlara rağmen müziği bırakmadı. Grup olarak Elvis Presley gibi ünlü rock and roll sanatçılarının klasiklerini yorumluyorlardı. 1963'ün sonunda grup dağıldı.
Cem Karaca, askerlik sonrası Şubat 1967'de gitarist Mehmet Soyarslan'ın kurduğu Apaşlar grubu ile tanıştı. Cem Karaca ve Apaşlar, 1968'de Almanya'ya gidip Ferdy Klein Orkestrası ile 45'likler kaydetti. Bu dönemde Soyarslan şarkısı 'Resimdeki Gözyaşları', Karaca'nın Emrah'tan sonraki ikinci hit parçası oldu. Bu plak sonrası büyük bir Türkiye turnesi oldu. Ayrıca Almanya'da konserler devam etti. Ayrıca yurtdışına açılmak için İngilizce bir 45'lik kaydedildi. 1969'da grup içinde fikir farklılıkları olmaya başladı. 'Bu Son Olsun / Felek Beni' plağından sonra grup dağıldı. Aynı yıl Cem Karaca, Bunalım grubunun prodüktörlüğünü ve menejerliğini yapmaya başladı. İlk 45'likleri 'Taş Var Köpek Yok/Yeter Artık Kadın' şarkılarının ikisinin de söz ve bestesinde Cem Karaca'nın da adı geçmektedir. Bu 45'likten sonra bu işi bırakan Karaca, grubun bateristi Hüseyin Sultanoğlu'nu kendi grubu Kardaşlar'a almıştır.
Apaşlar dönemi bittikten sonra grup müziğine devam etmek isteyen Karaca, Apaşlar'ın bas gitaristi Seyhan Karabay ile Kardaşlar grubunu kurdu. Ancak Kardaşlar gitaristi Seyhan Karabay ile anlaşmazlıklar baş gösterdi ve Karaca, Kardaşlar ile yollarını ayırdı. Bu sırada eşi benzeri görülmemiş bir değiş-tokuş meydana geldi. Cem Karaca, Kardaşlar'dan ayrılıp Anadolu Rock'ın güçlü sesi Moğollar'la birleşirken Kardaşlar da Moğollar'la anlaşamayan Ersen Dinleten'i gruplarına dahil etti. Cem Karaca ve Moğollar, 1973'te 'Obur Dünya / El Çek Tabip' 45'liği yayınlandı. Ancak grubun asıl başarısı 1974'ün başında kaydedilen 'Namus Belası' şarkısı ile kazanıldı. Şarkı çok popüler oldu, öyküsü Hey dergisinde çizgi roman olarak yayınlandı. Ancak bu plak sonrası Cahit Berkay çalışmalarını Fransa'da devam ettirmeye karar verince Cem Karaca ve Moğollar yollarını ayırdı. Mart 1974'te Dervişan grubunu kurdu. Tamamı yeni şarkılardan oluşan ilk uzunçaları Yoksulluk Kader Olamaz'ı yayınladı. Bu albümde Karaca besteleri dışında, ünlü şairlerin şiirleri de bulunmaktaydı. Cem Karaca ve Dervişan, 1978'in başında 1 Mayıs plağından sonra yollarını ayırdılar.
Cem Karaca, Dervişan sonrası adını Türkiye'nin iki ucu olan Edirne ve Ardahan'dan esinlenerek Edirdahan koyduğu bır grup kurdu. 1978'de Cem Karaca, Edirdahan ile kaydettiği ilk ve son teklisi Safinaz'ı yayınladı. Bu plak Türkiye'de daha önce hiç görülmemiş olan 18 dakikalık bir rock operaydı. 1992'de annesi Toto Karaca hayatını kaybetti. Yılın sonlarına doğru Dikmen ve Berkay ile ikinci çalışması olan Nerde Kalmıştık? albümünü yayınladı. 'Raptiye Rap Rap' ve 'Islak Islak' besteleri ile büyük başarı yakaladı.Bu albümden sonra Cem Karaca, bir süre müzikle aktif olarak ilgilenmedi.
Sanatçının müziğe geri dönüşü 1997'nin sonunda vizyona giren Ağır Roman ile oldu. Filmin yapımcısı, eski Apaşlar gitaristi ve Karaca'nın dostu Mehmet Soyarslan'nın yazdığı, 1968'de Cem Karaca'ya ün getiren 'Resimdeki Gözyaşları'nı, Karaca film için yeniden kaydetti. Filmin ana müziği olan parça, Karaca'yı tekrardan müzik piyasasına soktu.