創建年代は不詳ですが、延喜式内の古社です。「延喜式」とは平安初期の国家の法制書で、「式内」とは延喜式に登載されていることを意味します。元伊加賀宮山の地にあり、産土神として、又淀川の鎮守として御神威高く、古来航行の船人達が通航の安全と水害排除祈願のために創建し、開化帝の御代に伊香色男命、伊香色女命の邸内に高龗神を奉祀したと伝えられています。
　明治5年村社に列せられ、同42年10月14日村社須賀神社(素盞鳴尊)、村社日吉神社(大山咋大神、大国主大神)を合祀し、翌15日境内狭隘のため、須賀神社の旧地である現鎮座地に遷座しました。同年12月に神饌幣帛料供進社に指定されました。昭和9年の室戸台風で社殿・社務所を大破、同10年10月、現社殿・社務所を復興しました。

　合併した須賀神社は牛頭天王社(祇園社)と称し、もと現鎮座地にあり、清和帝の貞観14年天下に悪疫流行の時、万年寺の開祖聖宝上人が天皇より神璽を賜わり、終息祈願のため山上に勧請、爾来諸病平癒に神験があります。万年寺は明治3年廃寺となり、社は同5年村社に列せられました。
　日吉神社は岡の地にあり、山王大権現と称しました。往古洪水に際し、日吉大神の御神体が流れ来り、村人が家に持ち帰ったが、霊験顕著なので氏神として奉祀したと云われています。一説には伝教大師が、平安京の裏鬼門に当る此の地に阿弥陀仏及び日吉大神の二像を作り、皇城の鎮護の社寺と定めたとあります。

　意賀美神社の資料室には数学の絵馬である「算額」が保管されています。これは神仏の加護により、数学者としての上達を祈念して奉納するものです。数学者の岩田清庸は当地に病気療養のために滞在し、病の癒えたお礼に文久元年、須賀神社の前身である牛頭天王社に奉納したとのことです。