箱根山においては道路開削が進められていくのと平行して、交通機関の近代化、あの福沢諭吉が提言した「岩を砕て鉄道を造る」時代へと進みつつあった。
　国家的規模での交通機関の近代化は、明治五年（一八七二）十月、新橋－横浜間に施設された鉄道が運転を始めた時点から始まる。やがてこの鉄道は東海道線と称し、明治十九年（一八八六）東京―京都間の開通を目指して工事が開始された。ところが神奈川県の相模湾沿岸を西へ向かうこの路線は、国府津までくると、北上し、酒匂川上流から御殿場を経て沼津に至る迂回路をとることになった。

　この路線決定は、箱根・小田原の商工業者に深刻な動揺を与えた。このまま放置しておけば、箱根への湯治客の減少、小田原商工業の経済活動の停滞を招くことは明らかであった。そこで明治二十年（一八八七）十一月二十日、小田原・箱根の経済界の有志吉田義方・今井徳左衛門・二見初右衛門、福住九蔵・寺西台助・益田勘左衛門・杉本近義の七人が発起人となり、資本金六万五〇〇〇円をもって、国府津―湯本間を走る「小田原馬車鉄道株式会社」が設立された。

　明治二十一年（一八八八）二月二十一日、敷設の許可を得た小田原馬車鉄道は、同年三月測量を開始し、地元民期待の中で工事は進行し、同年九月三日、全線が竣工した。
　明治二十一年十月一日、小田原馬車鉄道は運転を開始した。国府津―湯本間の全線路一二・九キロ、この区間を国府津ー小田原間三〇分、小田原―湯本間三五分、全区間一時間五分で走り、箱根山に新しい交通時代の幕あけを告げた。最初のころこの鉄道の料金は、下等が国府津―小田原間六銭、小田原―湯本間八銭、中等が国府津―湯本間三〇銭、上等は五〇銭であった。

　地元民の期待に答えて運転を開始した馬車鉄道にも不満や反対の声もあった。この鉄道の創設によって職を奪われた人力車夫や乗合馬車の営業者は、馬車鉄道の運行に反対し、妨害行為や役員の私邸に押しかけるなどの行動に出た。会社側はこれへの対抗策として二代目社長に元神奈川県警部田島正勝を迎えた。田島は部下の警察官出身を社員に採用し、妨害行為に対処したという。
　馬車鉄道が走る沿道の住民からも不満の声はあがった。馬車が落としていく馬糞には絶えず蝿が群がり、天気が続くと馬糞が乾いて舞い上がるという非衛生的な状態となるゆえであった。ともあれ、沿道住人の賛否の声を背に受けながら、馬車鉄道は走り続けた。