El sistema gráfico de Linux son las XWindows. A lo que tú te refieres son los sistemas de ventanas. Si no te quieres comer la cabeza para crear ventanas con librerías específicas de cada sistema, usa algo como Qt o wxWidgets (de todas maneras, si no recuerdo mal, uses lo que uses, vas a poder ejecutarlo con cualquier sistema de ventanas)

 DGA tiene el problema de que necesita que seas root para poder usarlo. Bueno, por lo menos desde Allegro era así, no sé si SDL hace algún hack para que no haga falta.