石臼建村于宋代以前。石臼之称，一传自宋代始，有漂泊海洋的渔家在东南隅岬角驻足拴缆，上岸舂米为食，形成多处臼状石坑，故称“石臼”；又传宋代岳飞部将李宝破金后屯兵此处，用“石臼”杵米而得名。明初，为防倭寇设“备御千户所”，始称石臼所。