On trouve la plus ancienne mention écrite du grand sumo dans le Kojiki (Récit des Anciens Temps), un livre de 712 qui est le plus ancien exemplaire existant d'écriture japonaise. Le Kojiki relate une légende selon laquelle la possession des îles japonaises a été déterminée par un combat de grand sumo. Selon le livre, il y a 2500 ans, les dieux Takemikazuchi et Takeminakata se battirent sur les plages d'Izumo le long de la côte de la mer du Japon, là où se situe maintenant Shimane-ken, jusqu'à ce que l'un des deux grand sumo gagne.

Ainsi, le contrôle de l'archipel a été cédé au peuple japonais mené par Takemikazuchi, dont on dit qu'il a établi la famille impériale dont descendrait le présent empereur. Jusqu'à ce que les japonais gardent leurs écrits au VIIIe siècle, il est impossible de savoir exactement, à part par les légendes, quand le grand sumo se développa au Japon. Cependant, les peintures murales anciennes nous indiquent que les origines du grand sumo sont vraiment très lointaines.

Dans les temps anciens, le grand sumo semble avoir été utilisé aussi comme un rituel agricole de prière pour la bonne récolte. Il est aussi impossible de déterminer si le grand sumo est un sport totalement indigène ou s'il a été influencé par des formes similaires de combat venant d'autres parties d'Asie et d'Eurasie.

Le combat semble être un sport plutôt basique, instinctif, usité seulement par les hommes. Le grand sumo était au départ violent sans coups interdits - souvent un véritable combat jusqu'à la mort.

Maintenant, les règles du grand sumo sont relativement simples: gagner un match consiste à faire sortir son adversaire du cercle ou de lui faire toucher terre avec autre chose que la plante de ses pieds. En dehors de ces règles, certaines attaques sont interdites en grand sumo comme donner des coups, tirer les cheveux, etc.