1844年，黄泥涌村族长带领一班父老，北渡海峡前往九龙城寨，向清官吏递交状书，称：番邦夷人，在吾土跑马瘪乐，践踏良田，害吾村顺民不能耕耘，无法缴纳田租。望城寨青天，体恤民情，出示公告，责令夷人不得在吾村策马；更望道光皇上，亲下敕令，严禁夷人私闯吾村贡米良田，使夷人另择荒岛野地，事荒唐龌龊游戏。吾皇威震四海，夷人岂敢不从？吾皇万岁万万岁..
九龙城寨清吏，早给英军战舰吓破了胆，不敢上港岛张贴公告。
至于大清皇帝，连整座香港岛都全然割让，更不会理睬山野小民的耕耘小事。
此事自然不了了之。黄泥涌的村民，只能眼睁睁望着夷人耀武扬威策马驰骋。
渣甸洋行在黄泥涌跑马，一时闹得名气好大。洋人苦于无消遣之处，纷纷来快活谷看跑马。到周日，渣甸的大班们，会邀请港府官员、大英商及知名人士来快活谷赛马。其他洋人，则站在斜坡上观看。
渣甸洋行的霸道，引起其他洋人的不满。他们凑在一起商议，决定另组赛马活动，与渣甸洋行分庭抗礼。
1845年，香港有组织的赛马，在西环的薄扶林举行。所谓赛马场，只是一小片乱石杂草丛生的坡地。这一天，港岛洋人空巷，都赶去观看。
开赛不久就出事，马失前蹄，把一名骑士摔到两丈开外。接着，一匹叫神风的马，给乱石绊倒，摔断了腿。
众洋商再聚一起，筹划修一块大而平坦的马场。因分摊费用谈不拢，修马场的计划胎死腹中，再一次赛马，只是把乱石收拾一下就开赛。
这种自发性的马会维持了两年，便销声匿迹——仅留下三匹残废马的惨痛纪录。
结果，唯有快活谷马场一枝独秀，这几乎成了渣甸洋行的私用马场。
这时，香港洋人要求设立官办马场的呼声日益高涨。从葡京赛马回来的马主及骑手表示，他们再也不愿去葡京赛马受那些葡国佬的奚落。
戴维斯总督亦深感移地葡京赛马，有辱大英帝国的威严。
并且，去葡京赛马，大多数在港西人仍享受不到这种高尚娱乐的乐趣。
戴维斯带人勘定马场地址，跑遍港岛，仍觉得快活谷最为理想。渣甸大班十分赞成港府在快活谷设立马场，并赞助一笔钱修整马场跑道。因此，在马会成立初期，渣甸洋行的势力，足以与港府平分秋色。
1848年，戴维斯卸任。渣甸大班会同众英商，在刚刚修成的马场，为戴维斯举行了一场非正式赛马。
香港赛马场，洋人又谓之快活谷赛马场，华人则叫跑马地。有了赛马场，必有赛马章程，并要设立赛马委员会。
那时九龙仍属清廷管辖，九龙清军与港岛英军隔海对峙。般含总督鉴于这种现实，担心在港英人沉溺赛马，玩物丧志，敌规定赛马一年举行一次，叫“周年大赛马”。
诚然，除了官办的周年大赛马，英商平时也会举行非正式赛马，规模很小，不可与周年大赛马同日而语。
赛马委员会是一个临时性的组织，每年大赛马前才组成。
最初会员是清一色的英人，由这三部分英人组成：上一届赛马会会员、后来香港的有身份的英人、参赛马匹的马主（马主均为富人）。
马会另设决策机构董事会，港督为当然名誉董事长，执行董事则由渣甸等大洋行大班轮流坐庄。
赛马委员会是一个临时性的组织，每年大赛马前才组成。最初会员是清一色的英人，由这三部分英人组成：上一届赛马会会员、后来香港的有身份的英人、参赛马匹的马主（马主均为富人）。马会另设决策机构董事会，港督为当然名誉董事长，执行董事则由渣甸等大洋行大班轮流坐庄。
一年一度的周年大赛马仍维持不变。因港府允许马主和骑手在