เมื่อครั้งที่โต๊ะฮ้าหวา (โต๊ะปังกะหวา) เป็นเจ้าเมืองปกครองอยู่ที่เกาะลิบง เมืองทุ่งค่าย ก็มีพระยางอกเขี้ยวเป็นเจ้าเมืองปกศรองอยู่ เจ้าเมืองทั้งสองเป็นสหายที่รักกันมาก ต่อมาไม่นานก็มีนายสำเภาชาวจีนชื่อเจ้าไหม เดินเรือเข้ามาค้าขายกับเมืองทั้งสอง และเกิดชอบทำเลบริเวณฝั่งตรงข้ามกับเกาะลิบง (บ้านเจ้าไหมในปัจจุบัน) จึงได้ขออนุญาตต่อโต๊ะฮ้าหวา เจ้าเมืองลิบงตั้งบ้านเรือนขึ้นสำหรับเป็นท่าเรือค้าขาย ต่อมาเจ้าไหมได้เกิดความคิดที่จะเป็นใหญ่ในแถบนี้แต่เพียงผู้เดียว จึงได้ยุยงให้พระยางอกเขี้ยว เจ้าเมืองทุ่งค่ายเกลียดชังโต๊ะฮ้าหวา จนทำให้พระยางอกเขี้ยวเกิดความเข้าใจผิดกับโต๊ะฮัาหวา ตามคำของของเจ้าไหม ในที่สุดพระยางอกเขี้ยวก็ได้ร่วมกับเจ้าไหมยกกองทหารเข้าทำสงครามกับโต๊ะฮ้าหวา สงครามสู่รบกับผ่านไปนานวันแต่ไม่มีใครสามารถเอาแพ้เอาชนะกันได้ ข่าวสงครามนี้ทราบไปถึงโต๊ะละหมัย ซึ่งเป็นที่เคารพนับถือของพระยางอกเขี้ยวและโต๊ะฮ้าหวา ท่านจึงเดินทางมาเจรจาให้พระยางอกเขี้ยวยุติสงครามกับโต๊ะฮ้าหวา ทำให้เจ้าไหมเกิดความไม่พอใจโต๊ะละหมัยเป็นอย่างมาก และประกาศไม่ยอมเลิกการรบกับโต๊ะฮ้าหวา การกระทำของเจ้าไหมครั้งนี้ทำให้โต๊ะละหมัยโกรรมาก จึงได้สาปให้เจ้าไหมกลายเป็นหินขนาดใหญ่ ๑ ก้อน ซึ่งต่อมาได้กลายเป็นภูเขาชื่อ "เขาเจ้าไหม" เมื่อเจ้าไหมถูกสาปแล้วโต๊ะละหมัยก็ได้บัญชาให้โต๊ะฮ้าหวากับพระยางอกเขี้ยวคืนดีกัน และยกให้โต๊ะฮ้าหวาเป็นใหญ่แต่เพียงผู้เดียว เมื่อมีบัญชาเช่นนั้น โต๊ะฮ้าหวาก็ได้ใช้เท้าประทับแสดงความเป็นเจ้าของแผ่นดินไว้บนผนังถ้ำที่เขาโต๊ะแหนะ ซึ่งยังยังคงปรากฎให้เห็นจนปัจจุบัน