社伝では、神功皇后が三韓出兵からの帰り、沈みそうになる船をスクナヒコナノミコトとオホナムジノミコトが助け、友ケ島にたどり着くことができた。そのお礼の気持ちを込め、持ち帰った宝物を備えた。その後、神功皇后の孫にあたる仁徳天皇がこの話を聞き、島では不自由だろうと対岸の加太に移し、社殿を建てたのが淡島神社の起こりと伝わる。安産や子授けの祈願所として人気があり、針供養や雛流しなど、全国的にも知られた祭りが行われる。境内には紀州徳川家奉納の人形や茶碗などを展示する宝物殿がある。