Lý Sơn trong nhiều thế kỷ trước luôn nằm trên đường hàng hải nhộn nhịp, nối liền Trung Quốc với Ấn Độ dương và thế giới Hồi giáo, Ả Rập, Trung Á, Bắc Phi, Địa Trung Hải.
Khu vực này có nhiều nhóm cướp biển chuyên phục kích các tàu buôn đi qua đường biển này, lắm khi tràn vào cướp phá người dân trên đảo cũng như ven bờ biển phía đất liền và không ít lần gây nên những vụ tàn sát kinh hoàng.
Nhờ vị trí đắc địa mà Đảo Bé (thuộc xã đảo An Bình, huyện đảo Lý Sơn, tỉnh Quảng Ngãi) được bọn cướp chọn làm sào huyệt và giấu toàn bộ vàng bạc. Đến nay, dù vết tích của hang giấu vàng năm xưa đã bị “bồi lấp” bởi đá nham thạch và nước biển bào mòn, nhưng tội ác mà chúng để lại cũng như những câu chuyện huyền bí về hang Kẻ Cướp vẫn còn lẩn khuất trong đời sống của người dân nơi đảo xa, khiến họ sợ hãi mỗi lần nhắc đến và cũng ngại nhắc lại với khách du lịch vì sợ họ tìm kiếm và phá hại hang động.
Trong lịch sử, đã có nhiều lần, những nhóm hải tặc xuất phát đảo Bé tấn công sang đảo Lớn hoặc vào cửa Sa Cần, cửa Sa Kỳ, cửa Đại Cổ Lũy, Vũng Quýt (Dung Quất), gây ra các vụ giết người, cướp của rất dã man. Đến nay, nhiều người vẫn đồn đoán, đảo Bé chính là nơi giấu vàng của bọn cướp thời đó.
Sách Đại Nam thực lục chính biên của Quốc sử quán triều Nguyễn chép: “Năm 1867, thuyền giặc biển 22 chiếc vào cửa Sa Kỳ lên trên cạn hơn 300 tên, quan tỉnh Quảng Ngãi vì có ít quân, xin điệu quân ở quân thứ Tĩnh Man hội lại cùng đánh…”.
Trong các nhóm hải tặc ở Biển Đông, giặc Tàu Ô cướp phá thường xuyên nhất và duy trì hoạt động mãi đến đầu thế kỷ 20. Địa bàn chủ yếu của giặc Tàu Ô kéo từ vùng biển Nam Trung Hoa, Đài Loan, Hải Nam (Trung Quốc) đến dọc vùng biển Bắc bộ, Trung bộ (trong đó có Lý Sơn) của Việt Nam.
“Hang Kẻ Cướp vẫn còn đến tận bây giờ nhưng rất khó vào. Miệng hang bây giờ chỉ đủ cho một đứa trẻ chui lọt, lại nằm ở vị trí rất khó tiếp cận nên rất ít người biết lối vào”, người dân nơi đây cho hay
Nhiều người còn cho rằng, khu vực quanh miệng hang có nhiều mảnh sành sứ cổ vỡ nát chính là hũ đựng vàng của cướp biển. Theo người dân, thông tin hang Kẻ Cướp là nơi giấu vàng chỉ là chuyện truyền miệng. Nhiều người vào trong hang tìm kiếm nhưng không ai phát hiện được gì. Đối với những mảnh gốm vỡ, họ cho rằng đây là dấu vết của những con tàu chở đồ gốm đi qua vùng biển Quảng Ngãi và bị đắm rồi trôi dạt vào những bờ biển phía sau của đảo.
Ngoài hang Kẻ Cướp, tại đảo Bé có một hang đá khác được người dân gọi là hang Trốn Lính. Hang đá này khá nhỏ, lối vào nằm dưới mặt nước biển nên muốn vào phải lặn. Việc lặn vào bên trong rất nguy hiểm nên lâu nay không ai vào hang đá này.
