Конец Амурской экспедиции
В первые месяцы 1855 года Невельской занимался укреплением береговой обороны Амурского лимана, в котором укрылись все корабли дальневосточного флота. В Николаевске был главный штаб обороны. Невельской постоянно перемещался между постами, он был «душой» амурской обороны. После второго сплава по Амуру во главе с Муравьёвым, в котором участвовало 113 барж, в Приамурье сосредоточилась военная группировка из семи тысяч человек. Прибыли и первые переселенцы из Сибири, основавшие русские сёла Иркутское, Михайловское, Сергеевское, Богородское...
В конце мая 1855 года Невельской, находившийся в Николаевске, получил от генерал-губернатора Муравьёва предписание, первый пункт которого гласил: «Амурская экспедиция заменяется Управлением Камчатского губернатора контр-адмирала Завойко, местонахождением которого назначается Николаевское». Это означало отставку Невельского. Впрочем, она была почётной. Об этом Муравьёв писал Корсакову в частном письме: «... Для успокоения Невельского я полагаю назначить его при себе начальником штаба... Таким образом, Невельской с громким названием не будет никому мешать и кончит своё там поприще спокойно».
Ещё раньше, в январе 1855 года, когда получили почту, Невельской узнал о том, что полгода назад он был произведён в контр-адмиралы. Пришло признание того, что он сделал для России, но тут же его «удалили» с вершины, на которой он находился: отстранили от дел, связанных с освоением Амурского края и Сахалина.
В июле 1856 года Г.И. Невельской с женой и двумя детьми по Аянскому тракту отправился с вьючным караваном в Якутск, затем по Лене — в Иркутск, и по Сибирскому тракту — в Петербург. Он снял квартиру на Сергиевской улице. Получив отпуск на полгода, съездил в Москву и Кинешму, там умерла его мать, и у него было имение в трёх вёрстах от города.
С октября 1857 года Невельской работал в Морском учёном комитете, занимаясь в основном рецензированием статей, приходящих в журнал «Морской сборник». Он принимал участие в работе Русского географического общества, консультировал учёных и капитанов судов, отправляющихся на Дальний Восток. Так, к нему обращался за советом молодой офицер Михаил Венюков, назначенный на службу в Восточную Сибирь. С ним Невельской провёл несколько вечеров, рассказывая об Амуре и Уссурийском крае, где Венюков, в будущем — выдающийся географ, собирался провести исследования. В своих воспоминаниях М.И. Венюков так характеризует Невельского: «Более честного человека мне не случалось встречать, и хотя его резкость, угловатость могли иногда не нравиться, тёплая, глубоко симпатичная натура скрывалась за его непредставительной наружностью».
В последние годы жизни Невельской часто болел, выезжая для лечения за границу — в Швейцарию, Италию. Однако продолжал работать и в Морском учёном комитете, и в Географическом обществе, и в Обществе для содействия русскому торговому пароходству. В этом обществе он как-то устроил большой приём в честь английского капитана Виггинса, первым прошедшего в 1874 году на судне «Диана» из Европы в Обскую губу. В следующем году принимал Адольфа Эрика Норденшельда, решившего совершить плавание вдоль берегов Сибири — из Атлантики в Тихий океан.
В 1874 году, через 42 года после получения первого офицерского звания мичмана, Геннадий Иванович Невельской стал полным адмиралом. Уже в этом качестве он подписал 1 апреля 1876 года письмо об определении сына Николая в Морской кадетский корпус. Уведомление о принятии сына адмирала в кадеты было отправлено 15 апреля, а через три дня Геннадий Иванович скончался. Ему было 63 года. До последних дней жизни Невельской работал над книгой «Подвиги русских морских офицеров на крайнем востоке России». Она была завершена и издана его женой; Екатерина Ивановна Невельская умерла в марте 1879 года на 48-м году жизни, вскоре после того, как вышла книга мужа. Она пережила его всего на три года. Их могилы — рядом, на кладбище Воскресенского женского монастыря в Петербурге.
Пожалуй, никому из русских путешественников не поставлено столько памятников, сколько Невельскому. Их можно увидеть во Владивостоке, Южно-Сахалинске, Николаевске-на-Амуре, Солигаличе; барельефы — в Петербурге, Хабаровске. Его именем названо восемь географических объектов, город на Сахалине, улицы во многих городах и посёлках.