兴凯湖500万年前的火山喷发造成地壳陷落而形成。小兴凯湖在大湖20万年以后变迁过程中湖水退缩形成。

史书记载，兴凯湖在唐代称为湄沱湖，以盛产"湄沱之鲫"驰誉。又因湖形如"月琴"，故辽金代有"北琴海"之称，清代改为兴凯湖。又称兴开湖，是当地赫哲语肯卡的偕音，意为水从高处向低处流。"兴凯"是满语，"兴凯"的意思为"水耗子"，说明当时兴凯湖中水鼠很多。兴凯湖北面有小兴凯湖，又名达巴库湖，满语意为"水从高处往低处流"。

兴凯湖作为满族的龙兴之地，清初曾被"禁封"200多年。清末解禁后，陆续有垦荒者来到这里。20世纪50年代，王震将军率领十万官兵在此开发北大荒。因为地处边境，人烟稀少，加之保护力度的不断提高，兴凯湖保持了较为原始的自然生态。