當今屏東外海的小琉球島上，居民已皆是漢人。但我們卻可發現島上有「烏鬼洞」、「烏鬼井」、「烏鬼橋」等地理名稱，而島民對「烏鬼番」亦有不少傳說，有人說烏鬼番是荷蘭人帶來的黑奴，也有人說烏鬼番是小琉球的原住民。經過學者研究，烏鬼番應該是荷蘭時代之前，居住在小琉球的西拉雅（Siraya）之馬卡道（Makatau）支族平埔族人。這些平埔族人平日以椰子、蕃薯等為食物，與世無爭，但他們的悲慘命運卻從一艘擱淺的荷蘭船隻「金獅子」號（Gouden Leeuw）開始。

1621年7月3日，金獅子號從巴達維亞出航，載運8萬里拉（real）的銀幣到澎湖給當時的長官萊爾森，讓萊爾森從事對中國的貿易。8月13日，金獅子號平安抵達澎湖，但當時萊爾森與中國方面並無貿易往來，於是，金獅子號被派往占碑（Jambij）購買胡椒。後來金獅子號在十月中旬離開澎湖航向占碑，在途中停泊於小琉球島，並派遣一部份人員到島上取得淡水，但那些人員一去不返。金獅子號後來遇到暴風，無法對那些失蹤人員進行救援，悻悻然離開。後來荷蘭人得到消息，說那些到小琉球島的人是被島上的烏鬼番給吃了。台灣的南島民族多多少少都有些獵頭的習慣，也許那些荷蘭船員並未被吃掉，而是遭獵頭的平埔族人所殺害。總之，因為金獅子號的悲劇，荷蘭人稱小琉球為「金獅子島」，島上的平埔族人則被稱為Lamey。

荷蘭人雖然知道金獅子號船員被平埔族人所殺，但他們一直有事於對中國、日本間的貿易交涉，也費心於福爾摩莎島內的經營，一直沒有採取行動。一直到了蒲特曼斯接替納茨成為大員長官，結束了與中國間的爭端，開始全力經營大員殖民地時，「番害」的消除成了蒲特曼斯的首要任務。「番害」也就是原住民襲擊殺害荷蘭人的事件。蒲特曼斯在1633年11月4日，決議先攻打小琉球。於是他派遣布魯恩（Claes Bruyn）為司令官，在11月12日時，率300荷人與部份新港、蕭壟社和漢人，乘兩艘快船與四艘戎克船（Junk，中國式帆船）進攻小琉球。18日，一艘進攻小琉球的戎克船回到大員，向蒲特曼斯報告說荷蘭軍隊追擊平埔族人，有一個荷蘭人與新港人戰死，平埔族人逃到天然洞窟，荷蘭人無功而還。19日，征討司令布魯恩回到大員，確認了前者的報告。布魯恩還補充報告說，在小琉球島上發現了1631年11月26日駛往中國沿岸，遇到暴風而失蹤的快船Beverwijck號的遺留物。此事讓荷蘭人相信，Beverwijck號上的荷蘭人也是被小琉球平埔族人給「吃掉」了。於是巴達維亞總督布勞沃爾（Hendirck Brouwer）再三訓令蒲特曼斯出兵懲罰那些「殺人兇手」。

1635年11月，蒲特曼斯順利的「清勦」了麻豆社之後，開始準備再次進攻小琉球。1636年4月5日，蒲特曼斯和大員評議會做出決定，由牧師尤紐斯帶領一群士兵，前往南方的放索（今屏東林邊）等社簽署友好協議，並向放索他們查詢小琉球島上之狀況。11日，尤紐斯等人回到大員，向蒲特曼斯報告。於是荷蘭人在19日，以林加（Johan Jeuriaensz. Van Linga）為司令官，率一百名荷蘭人與七、八十個強壯的原住民，乘三艘戎克船與一些舢舨，進攻小琉球。21日，荷蘭人抵達小琉球，開炮轟擊來攻的平埔族人，打死三個人，俘虜二十人。荷蘭軍乘勝追擊，進攻平埔族村社，但卻因為缺水並遇暴風雨，而撤離小琉球，停泊於下淡水（高屏溪出海口）。26日，荷蘭人再獲八十名放索社與許多新港社人的援助，再次前進小琉球，並且登陸，荷蘭人放火燒毀村社，並在放索和新港社人的帶領下，找到小琉球人躲藏的洞穴。於是荷蘭人採持久戰術，封鎖洞穴，斷絕飲水糧食，並用煙灌入洞內，將躲藏在洞內的人驅趕出來。之後數日，有許多人受不了逃出洞外，被荷蘭人逮捕，送到大員。根據小琉球指揮官在5月5日的來信說，洞穴在4日時已無人聲。於是荷蘭人入洞察看，發現了兩、三百具屍首，加上之前被荷蘭人抓獲的還有323人（男53人、女125人、兒童145人）。

1636年5月8日，一艘戎克船從小琉球抵達大員，又帶回再另一洞穴中發現的21名俘虜，而荷蘭人估計還有38到40名男人尚在頑抗。到了11日，又有31名俘虜被帶到大員。6月2日，進攻小琉球的指揮官林加留下30名兵士駐守島上，自己則率部隊返回大員。《熱蘭遮城日記》記載，小琉球島上約一千人，有500餘人被死亡，另有483人被帶到大員。7月1日，荷蘭人留在小琉球島上的駐軍被殘餘的平埔族戰士襲擊，有三人被殺。翌日，大員評議會決議全數消滅小琉球島上的居民。5日，荷蘭軍三十人加上服從荷蘭人諸社，再出兵掃蕩小琉球島。之後數年，荷蘭人仍不定期的掃蕩小琉球，也抓了不少漏網之魚。總之，在1636年之後，小琉球島上的居民已經被「清除」殆盡了。

根據《巴達維亞城日記》，荷蘭人「進勦」小琉球，漢人與平埔族人都頗為滿意，漢人是想到小琉球屯墾與小琉球居民發生衝突，荷蘭人將居民清除後，漢人就可以大搖大擺的前往墾拓；而其他台灣島上的平埔族人則是因為被俘虜成為奴隸的小琉球人，對他們的勞力有一定的補充。但這些小琉球居民被虜之後的悲慘命運，也是令人鼻酸的。俘虜中有許多人被流放到巴達維亞，客死異鄉，另外的人被留在大員擔任苦役，因環境惡劣，死者無數。女人與小孩則被安置在新港社，除了有25名少男少女被選來接受基督教教育外，其他人則供給新港社人驅使，過著悲慘的生活。

這些被奴役的小琉球人，因為痛苦和思念家鄉，在夜間經常啜泣，牧師尤紐斯於心不忍，向長官蒲特曼斯要求送這些女人與小孩回家，尤紐斯還願意自己到小琉球與他們一同居住，但蒲特曼斯礙於巴達維亞的命令，不接受牧師的提議，仍然繼續掃蕩小琉球島上的平埔族人。後來，荷蘭人將小琉球租給漢人，在1645年2月捕捉到最後兩個平埔族人，於是，小琉球島上已無平埔族蹤跡。雖然尤紐斯與蒲特曼斯回到荷蘭後，曾一起向東印度公司請求讓小琉球人回家。小琉球人的遭遇引起公司的注意，要求巴達維亞總督馮‧戴‧萊恩（van der Lijn）對征伐小琉球做出報告。總督輕描淡寫的掩飾了荷蘭人的罪行，他指出留在新港社的婦女與女孩都過的很好，而且女孩們可與荷蘭人結婚，生活美滿。公司對萊恩的說法不很茍同，但也大事化小，小事化無。小琉球人仍回不了家，而與新港、蕭壟、麻豆諸社的平埔族人同化了。

據1649年1 月18日萊恩向總公司的報告，小琉球人的處置如下：

以各種船隻，發配到巴達維亞：191人
分配於新港社與暫時安置於新港社：482人
依荷蘭習俗被荷蘭家庭收養的兒童：24人
生存下來者共697人
被殺死者405人
另外17人是在1644年之後尚生存於島上，但後來被送往新港社
總計1119人