Narodil se v Písečné na Šumpersku, dětství však strávil v osadě Kolinovce u města Krompachy. Pochází z muzikantské rodiny, která jej k hudbě vedla od dětství, ve dvanácti letech hrával s největšími kapelami na Slovensku. Pracoval jako skladník a po absolvování vojenské služby začal hrát s romskou kapelou. To však k obživě rodiny nestačilo, a tak se se ženou a synem přestěhoval do Brna, kde žije dodnes, s výjimkou deseti let, kdy pracoval pro Montážní podnik spojů a s rodinou žili v maringotce. Vyučoval hru na harmoniku v lidové škole umění, v Brně si otevřel obchod s hudebními nástroji. Od roku 1980 se Gejza Horváth věnuje hudbě profesionálně, založil například skupinu Romano rat. Skládá vlastní písně a jako autor hudby a textů spolupracuje s několika romskými soubory. Od konce 90. let spoluzakládal a pracoval jako redaktor časopisu Romano Hangos. Přispíval do něj společensko-politickými komentáři i písňovými a vzpomínkovými texty, které zachycují život a tradice Romů žijících na Slovensku jeho dětství a mládí. Jeho tvorba byla nejdříve publikována ve sbornících a časopisech, v roce 2006 v nakladatelství G+G vyšel soubor čtrnácti povídek v češtině s názvem Trispras. Jeho povídky Drilko, Ďáblové a Můj dědeček byly otištěny v Antologie prozaických textů romských autorů z ČR (Muzeum romské kultury, 2007). Příležitostně publikuje své povídky na Facebooku a na serveru Romea.cz (například povídky Já a oni, Dovolená, Já a Vánoce). Gejza Horváth píše své povídky a črty převážně v romštině. V roce 2021mu vyšla próza Já a oni ve sbírce Všude samá krása (Kher, 2021).
V roce 2017 získal Cenu Muzea romské kultury za přínos hudební a literární kultuře, za péči o uchování romského jazyka skrze novinářskou a pedagogickou práci a především za autorskou textovou tvorbu.
