Родился в 1892 г. в Орловской области. Первоначальное образование получил в Орловской семинарии, а в 1911 году поступил в Петербургский политехнический институт. По окончании института и курсов авиации молодой человек работал на Русско-Балтийском вагонном заводе, где под руководством Игоря Сикорского участвовал в постройке самолета «Илья Муромец» и проектировании истребителей РБВЗ. С 1918 года Поликарпов работал на заводе «Дукс», где до 1923 года руководил техническим отделом. Весной 1923 года конструктором создан первый отечественный истребитель И-1, ставший первым в мире истребителем: свободнонесущим монопланом. Чуть позже под руководством Николая Николаевича создан самолет-разведчик Р-1.
В январе 1925 года Поликарпов добился организации опытного отдела и стал его начальником. В феврале 1926 года авиаконструктора назначили начальником отдела сухопутного самолетостроения Центрального конструкторского бюро «Авиатрест».
В 1929 г. Николай Николаевич был арестован по обвинению в «участии в контрреволюционной вредительской организации», саботаже и срыве опытных работ. Был приговорен к смертной казни. Вместо расстрела Поликрапов был отправлен в лагерное ОКБ с приговором о «вредительстве» и сроком 10 лет. В июле 1931 г. был амнистирован. Реабилитирован в 1956 г.