Hang Kẻ Cướp nằm ở mặt sau của đảo, ban đầu hang có tên là Chàng Thiếp. Theo lời kể của các bậc cao niên, hàng trăm năm trước, khi đảo Bé chưa có người sinh sống, đôi trai gái nọ sống trong đất liền, yêu thương nhau mà gia đình đôi bên không đồng ý nên đã đi thuyền ra đảo hoang, lấy hang đá làm tổ uyên ương. Một thời gian về sau, hai gia đình mất con đã hiểu ra chuyện, thông cảm cho đôi trẻ và cho làm lễ tác hợp. Hang đá mà đôi trẻ từng sinh sống trở lại hoang vắng như trước.
Có một nhóm hải tặc đã chọn đảo Bé làm nơi trú ngụ, vì nơi đây còn hoang vắng. Hang Chàng Thiếp bị chúng chiếm làm nơi ăn ngủ, kể từ đó hang Chàng Thiếp được biết đến với tên hang Kẻ Cướp.