Urodził się w 1937 roku w Krakowie. Zadebiutował w 1959 roku w czasie studiów na wydziale kompozycji w krakowskiej Państwowej Wyższej Szkole Muzycznej (dzisiaj Akademia Muzyczna) żartobliwą piosenką Ballada o ogonie.

To ona pozwoliła mu wejść w świat słynnego kabaretu literackiego Piwnica pod Baranami, awangardowego miejsca spotkań krakowskich studentów. W Piwnicy kompozytor zaczął tworzyć muzykę do tekstów wybitnych polskich poetów, m.in. Bolesława Leśmiana, Juliana Tuwima, Mirona Białoszewskiego czy Marii Pawlikowskiej-Jasnorzewskiej. Muzycznie interpretował poetycki tekst, wydobywał jego znaczenia, stwarzał emocje. O jego utwory zaczęli rywalizować czołowi wykonawcy kabaretu, m.in. Ewa Demarczyk, jedna z najbardziej utalentowanych i charyzmatycznych postaci polskiej sceny muzycznej.

W Piwnicy pod Baranami Konieczny spotkał też m.in. Konrada Swinarskiego i Andrzeja Wajdę, którzy powierzyli mu napisanie muzyki do swoich spektakli. Później Konieczny współpracował w teatrze również z Jerzym Jarockim, Tadeuszem Łomnickim, Janem Englertem, Mikołajem Grabowskim. Konieczny jest też twórcą muzyki do ponad 100 filmów fabularnych, telewizyjnych i krótkometrażowych. Wielokrotnie współpracował z takimi reżyserami, jak: Antoni Krauze (Palec Boży), Andrzej Wajda (filmowe Biesy), Wojciech Marczewski (Zmory, Klucznik, Ucieczka z kina Wolność), Tadeusz Konwicki (Jak daleko stąd, jak blisko, Dolina Issy, Lawa), Jan Jakub Kolski (Pogrzeb kartofla, Jańcio Wodnik, Grający z talerza, Historia kina w Popielawach, Pornografia, Jasminum).
Zygmunt Konieczny jest laureatem wielu nagród, m.in. polskich Złotych Lwów  nagrody – Festiwalu Polskich Filmów Fabularnych (1990, 2003), Polskiej Nagrody Filmowej Orzeł (1999, 2004), Fryderyka (2000). Został odznaczony m.in. Krzyżem Komandorskim Orderu Odrodzenia Polski. Obecnie kompozytor prowadzi zajęcia z muzyki teatralnej i filmowej w krakowskiej Akademii Sztuk Teatralnych im. Stanisława Wyspiańskiego.