Заложена 26 июля (по другим данным 24 июля) 1937 года на заводе № 112 (Красное Сормово) в Горьком. Заводской номер 247. 20 июля (по другим данным 20 сентября) 1938 года подводная лодка была спущена на воду, и 20 ноября 1939 года вступила в строй. Первым командиром субмарины назначен капитан-лейтенант Маринеско Александр Иванович. Начало Советско-финляндской войны «М-96» встретила в составе 26-го дивизиона ПЛ КБФ, проходя ходовые испытания, поэтому участия в боевых действиях не принимала. 12 декабря 1939 года подводная лодка вошла в состав Краснознаменного Балтийского флота.

    22 июня 1941 года корабль встретил в составе 8-го дивизиона 2-й бригады ПЛ на Ханко. За день до этого «М-96» вернулась из дозора на подходах к базе, где наблюдала интенсивное движение германских транспортов из Финляндии. С началом войны субмарина перебазировалась на Таллин, откуда в середине июля 1941 года перешла в бухту Триги, где поступила в распоряжение Коменданта Береговой обороны Балтийского района (БОБР). Вечером 22 июля «М-96» вышла на позицию в южной части Рижского залива. Подробностей этого выхода не сохранилось, так как отчет о походе Маринеско направил в штаб БОБРа, где он был, скорее всего, уничтожен при отходе наших частей на полуостров Сворбе; бортовой журнал «М-96» был сдан в штаб бригады подплава и, вероятно, погиб при эвакуации Таллина. Некоторая информация о первом боевом походе «М-96» содержится в «Журнале боевых действий БОБР». (см. Стрельбицкий К.Б. «К 60-летию первого боевого похода «подводника № 1»). 29 июля 1941 года «М-96» вернулась в Триги. Причиной этому явилось поломка дизеля. По одним данным лопнул обод кулачной муфты, связывающий дизель с гребным винтом, по другим – при срочном погружении из-за неисправности газоотвода дизель залило водой. 5 августа подводная лодка прибыла в Кронштадт, а затем в Ленинград, где встала на ремонт. Вскоре «М-96» стали готовить к перебазированию на Каспий, но после того как немцы блокировали Ленинград, субмарину вернули в боеготовое состояние.

    1 сентября 1941 года «М-96» вошла в состав 5-го дивизиона бригады ПЛ КБФ.

    Первую блокадную зиму подводная лодка провела в Ленинграде. 14 февраля 1942 года при стоянке у Тучкова моста в «М-96» попал снаряд, в результате чего затопило IV и V отсеки, и лодка села на грунт.

    Ремонт субмарины занял около четырех месяцев, поэтому в следующий боевой поход «М-96» вышла только 12 августа 1942 года. (Линия Таллин – Хельсинки, позиция № 9). Уже 14 августа в районе маяка Порккалан-Каллбода подводная лодка атаковала одной торпедой транспорт из состава конвоя противника. Дистанция залпа составляла 12 кабельтовых. Уже через 1 минуту на «М-96» услышали сильный взрыв. После выпуска торпеды субмарина не удержалась на глубине и всплыла, показав над водой рубку. По словам командира, в этот момент он видел гибель транспорта. По данным многих источников торпедой с «М-96» был потоплен финский транспорт «Хелене» (1.850 брт), который по финским данным погиб 13 августа 1942 года у острова Рюген на британской донной мине. Иногда жертвой субмарины называют немецкую тяжелую плавбатарею «SAT-5» («Хелене») в 400 брт, которая благополучно пережила войну и была включена в состав флота, предназначенного к передаче союзникам по репарациям. В любом случае, атаке подвергся финский конвой, так как по немецким данным атака «М-96» не зафиксирована, тем более что она была произведена в зоне ответственности финнов. После выпуска торпеды сторожевые корабли контратаковали подводную лодку, сбросив на нее 9 глубинных бомб, от разрывов которых субмарина получила незначительные повреждения.

    В ночь на 15 августа «М-96» перешла в район Палдиски, где обнаружила конвой противника, но в виду малой ценности целей командир от атаки отказался. 19 августа, израсходовав топливо, субмарина направилась в базу, не известив об этом командование. Вечером 22 августа в районе Лавенсари подводная лодка подверглась преследованию своих сторожевых катеров. К счастью, все обошлось, и 25 августа «М-96» благополучно ошвартовалась в Кронштадте.

    В следующий боевой поход «М-96» вышла 4 ноября 1942 года. На борту субмарины находилась разведгруппа из пяти человек, задачей которой был налет на немецкий радиопост и захват шифровальной машинки «Энигма». (По воспоминаниям П.Д. Грищенко, с сентября 1943 года служившего в разведотделе штаба КБФ, эта операция проведена в начале декабря 1943 года.). Командовал разведчиками старший лейтенант М.С. Калинин, помощник командира «Щ-303», впоследствии командир ПЛ «Щ-307», Герой Советского Союза. Разведчики так же были набраны из экипажа «Ерша». Вечером 11 ноября разведгруппа высажена в районе Нарвы. Переодетые в немецкую форму разведчики Суздальцев и Охлопков добыли «языка», но после его допроса выяснилось, что необходимой информацией он не владеет. Совершив налет на штаб полка, разведчики захватили документы и пленного, (Грищенко говорит о двух пленных), но «Энигмы» не обнаружили. При возвращении разведгруппы на подводную лодку шлюпка с людьми перевернулась, трое разведчиков и захваченный ими пленный утонули. Приняв на борт оставшихся в живых, подводная лодка вернулась в Кронштадт.

    В марте 1943 года командиром лодки назначен капитан-лейтенант Карташов Николай Иванович, а Маринеско принял «С-13»
    В 1943 году «М-96» совершила два похода. Так как противник создал в Финском заливе мощные противолодочные заграждения, «малютки» действовали на мелководье, занимаясь визуальной разведкой.

    Первый поход с новым командиром прошел не совсем гладко. 19 июля 1943 года в районе банки Туолюла подлодка села на мель, повредив винт, ограждения рулей и корпус. Выполнив задачу по разведке района Хапасарских шхер, в ночь на 21 июля «М-96» прибыла на Лавенсари, а затем перешла в Кронштадт, где была поставлена в док.

    Второй поход кампании 1943 года проходил в районе острова Гогланд. Днем 28 августа субмарина прибыла на позицию, и на следующую ночь высадила на Гогланде группу разведчиков. 30 августа «М-96» сместилась к маяку Тийскери, где неоднократно обнаруживала сторожевые катера противника. В ночь на 1 сентября подводная лодка высадила на Гогланде вторую разведгруппу, после чего направилась в базу.

    Кампанию 1944 года «М-96» начала 18 июня. Подводная лодка перешла по Неве в Ладожское озеро, где сделала один поход к острову Валаам в целях разведки и прикрытия десанта войск Карельского фронта у Тулоксы. 13 июля лодка возвратилась в Ленинград.

    18 августа 1944 года, при выходе в боевой поход, «М-96» легла на грунт в ожидании сумерек. Начался шторм, в результате удара о грунт лодка повредила киль, и ей пришлось вернуться в Кронштадт на ремонт.

    В свой последний боевой поход с задачей разведки минных заграждений в Нарвском заливе «М-96» вышла 7 сентября 1944 года. На борту субмарины в качестве обеспечивающего в море вышел оператор бригады ПЛ капитан 2 ранга Н.Н. Бутышкин. Назад лодка не вернулась. Вероятно, «М-96» погибла, подорвавшись на мине заграждения «Зееигель» в Нарвском заливе 7-9 сентября 1944 года. Вместе с «М-96» на дне покоится 22 члена экипажа субмарины.