Родился 23 сентября 1921 года в селе Дарница (ныне Братский район Николаевской области Украины). Окончил среднюю школу, в 1939 году - 2 курса Никопольского агролесомелиоративного техникума и аэроклуб. С 12 декабря 1939 года в рядах Красной Армии, призван Никопольским ГВК (Днепропетровской области Украины). В 1940 году окончил Качинскую военную авиационную школу пилотов.
С декабря 1941 года младший лейтенант Л. К. Рыжий в действующей армии. Воевать начал в 743-м ИАП на Закавказском фронте (в составе 135-й САД, ВВС 44-й Армии), летая на И-153. С 12 февраля 1942 года полк действовал на Крымском фронте (в составе 71-й ИАД и 25-й ИАД). 17 мая 1942 года был тяжело ранен в воздушном бою над Таманским полуостровом, повреждённый самолёт сумел посадить на тонкую песчаную косу, лечился в госпитале.
В декабре 1942 года был направлен в 347-й ИАП, который находясь в тылу проходил переформирование и переучивался на новую технику. С 8 мая 1943 года приступил к боевой работе на Центральном фронте (20 октября 1943 года переименован в Белорусский фронт) в составе 273-й ИАД (16-й Воздушной армии), летая на Як-1 и Як-9. С 16 января 1944 года полк находился в резерве Ставки ВГК, проходил очередное переформирование. С 7 июля 1944 года приступил к боевой работе на 1-м Белорусском фронте (в составе 193-й ИАД, 6-й Воздушной армии), летая на Як-9Т и Як-9Д. С 8 сентября 1944 года снова был в резерве Ставки ВГК, во втором эшелоне фронта, осваивал новую технику. 25 ноября 1944 года возобновил боевую работу на 1-м Белорусском фронте, летая уже на Як-9У.
К середине марта 1945 года командир эскадрильи 347-го истребительного авиационного полка (193-я истребительная авиационная дивизия, 13-й истребительный авиационный корпус, 16-я Воздушная армия, 1-й Белорусский фронт) капитан Л. К. Рыжий совершил 250 боевых вылетов, в 89 воздушных боях сбил лично 17 и в составе пары 1 самолёт противника. За эти подвиги представлен к высшей награде страны. Весной 1945 года принял участие в боях за взятие Берлина и освобождение Варшавы.
К 9 мая 1945 года штурман 347-го ИАП капитан Л. К. Рыжий выполнил 289 боевых вылетов, провёл 96 воздушных боёв, сбил 21 самолёт противника лично и 1 в составе пары.
Указом Президиума Верховного Совета от 15 мая 1946 года командир эскадрильи 347-го истребительного авиационного полка 193-й истребительной авиационной дивизии 13-го истребительного авиационного корпуса 16-й воздушной армии капитан Рыжий Леонид Кириллович удостоен звания Герой Советского Союза. Медаль «Золотая Звезда» № 9024.
В 1951 году окончил Военно-воздушную академию, а в 1963 году — экономический факультет МГУ. Уволен в запас в звании полковника. Работал преподавателем в Военной академии химической защиты. Последние годы жил в Москве.
Награждён орденами: Ленина (15.05.1946), Красного Знамени (17.10.1942, 22.08.1944, 19.10.1945, 22.02.1955), Александра Невского (15.10.1944), Отечественной войны 1-й степени (15.09.1943, 11.03.1985), Красной Звезды (29.04.1954, 26.10.1955); медалями, в том числе "За боевые заслуги" (15.11.1950).
