Udalosti príbehu „Sign of Four“ sa konajú v Londýne v roku 1888. Počas nútenej nečinnosti z dôvodu chýbajúcich objednávok sa k nemu vydáva známy detektívny poradca Sherlock Holmes, ktorý žije na ulici Baker Street 221-6, spolu so svojím priateľom Dr. Watsonom. jeho deduktívna metóda, ktorú používa pri riešení trestných činov. Sherlock Holmes je presvedčený, že pozorná osoba je schopná dokázať existenciu Atlantického oceánu a Niagarských vodopádov logickými závermi, aj keď ich nikdy predtým nevidel a nič o nich nepočul. Musia sa uviesť najmenšie podrobnosti a fakty, pretože sú schopné neoceniteľným spôsobom prispieť k obnove celkového obrazu udalostí, povahy osoby a okolností trestného činu.
Sherlock Holmes, ktorý je vynikajúcim detektívom, má encyklopedické vedomosti v oblasti kriminálnej kroniky a chémie, dobre hrá na husliach, má vynikajúce šermovacie a boxovacie schopnosti, dobre sa orientuje v geológii, anatómii, botanike, má mimoriadny herecký talent, ale v oblasti literatúry, filozofia, astronómia, jeho vedomosti sú nulové. V hodinách, keď nemá čo robiť, je chytený smrteľnou nudou a nachádza útechu v morfíne a kokaíne.
Watson, priateľ a spoločník Sherlocka Holmesa, bývalého vojenského lekára, ktorý slúžil v anglickej armáde v indickej vojne s Afganistanom a bol zranený v tejto vojne, žije s Holmesom v tom istom byte a je kronikárom všetkých prípadov, ktoré jeho priateľ odhalil.
K veľkému potešeniu Sherlocka Holmesa jeho dočasnú nečinnosť prerušila určitá slečna Morstenová, špeciálna dvadsaťsedemročná žena s duchovnou a láskavou tvárou, ktorá svedčí o šľachte a súcite duše. Rozpráva detektívovi o zvláštnych udalostiach, ktoré sa nedávno udialili v jej živote, a žiada ho o pomoc. V detstve prišla o matku. Otec, ktorý pôsobil ako dôstojník v Indii, poslal svoju dcéru do internátu v Anglicku. V roku 1878, teda pred desiatimi rokmi, prišiel do Anglicka, ako bolo predtým oznámené telegrafom. Keď však slečna Morstenová dorazila do hotela, zistila, že jej otec náhle zmizol. Nasledujúci deň sa nevrátil, už sa nikdy nevrátil. Potom, počnúc rokom 1882, začala každý rok od niekoho dostávať jednu veľmi krásnu a veľkú perlu. A v deň svojej návštevy v Holmesi dostala list, v ktorom bola požiadaná, aby večer prišla do lýcea. Uviedla, že sa s ňou zaobchádzalo nespravodlivo a že niekto chce túto nespravodlivosť napraviť.
Sherlock Holmes a Dr. Watson idú so sebou na určené miesto. Pred odchodom ukazuje Holmesovi zvláštnu poznámku nachádzajúcu sa vo veciach nezvestného Morstena, ktorý zobrazoval plán nejakej miestnosti, so štyrmi krížmi namaľovanými v rade na rovnakom mieste, s priečnymi lúčmi, ktoré sú vo vzájomnom kontakte a so značným podpisom: „znamenie štyri“. Osoba, s ktorou sa stretli, ich vezme do kabíny do južného Londýna. Tam sa stretnú s malým rusovlasým mužom s lesklou plešatou hlavou. Ukazuje sa, že je jedným z dvojčiat syna majora Šolta, ktorý pred šiestimi rokmi zomrel, Tadeusz Šolto. Jeho otec a otec slečna Morstenová kedysi slúžili v Indii v koloniálnych silách. Tam, major Sholto, záhadne bohatý, rezignoval pred jedenástimi rokmi a vrátil sa do Anglicka s bohatou zbierkou orientálnych rarity a celým personálom pôvodných zamestnancov. Major neodhalil tajomstvo o získaní pokladov a o tom, kde ich držali až do svojej smrti. Pocítil jej prístup, zavolal na neho svojich synov a povedal im, ako zomrel kapitán Morsten. Ukázalo sa, že po príchode do Londýna pred desiatimi rokmi prišiel do Sholta a mali spor o rozdelenie pokladov, o ktorých Morsten vedel a polovica z toho bola kvôli nemu. On, trpiaci bolesťou srdca, mal útok. Potom padol a keď udrel hlavou do rohu truhla s pokladom, zomrel. Obávajúc sa, že bude obvinený z vraždy, skryl kapitánove telo a nepovedal nič svojej dcére, keď o niekoľko dní neskôr, keď hľadala svojho nezvestného otca, prišla do svojho domu. Pred smrťou chcel tiež odhaliť svojim synom, kde bola skryta rakva, ale hrozná tvár pred oknom mu to zabránila. Zomrel a vzal so sebou tajomstvo do hrobu. Jeho synovia, ktorí pociťovali povinnosť slečny Morstenovej a chceli ju zbaviť aspoň potreby, ju začali posielať každý rok jednu perlu perličiek, ktorú raz vybral ich otec z rakvy. Tadeusz Sholto a jeho brat Bartholomew zatiaľ nevedeli, kde sa skrývalo ich bohatstvo. Deň predtým, po mnohých rokoch neúspešných prehliadok, ich však Bartholomew našiel v podkroví svojho domu, v tajnej stene. Ohlásil to Tadeuszovi. Napriek námietkam svojho brata, ktorý zdedil jeho otcovstvo, sa rozhodol zdieľať poklady so slečnou Morstenovou. Všetky štyri idú do Bartolomeja. Zistia však, že ho zabil jedovatý tŕň vrhnutý do krku, že boli ukradnuté poklady a že na mieste činu zostal kus papiera so znakom „štyri“.
Vďaka malým detailom Sherlock Holmes predpokladá, že zločinci sú dvaja ľudia - utečenec Jonathan Small, ktorý má namiesto pravej nohy drevnú protézu, a číslo jedna, divoch z Andamanských ostrovov, je malý, veľmi nahnevaný a svižný. Potom, čo pomohol Malému spolu s rakvicou dostať sa z okna z lana, zavrel zvnútra uzávery a prešiel cez podkrovie. Počas úteku sa jeho noha zašpinila kreozotom a Holmes s pomocou ostreľovacieho psa Tobyho šiel po jeho stopách k rieke. Tam zistil, že zločinci nastúpili na nájomnú loď Aurory. Keď sa Holmes plánuje vystopovať loď pomocou najatého gangu chlapcov, pokazí, on, oblečený ako starý námorník, vyrazí hľadať Auroru a pokúsi sa ju nájsť v dokoch. Podarí sa mu to. Vyzýva na pomoc inšpektora Škótska Yard Ethelny Jones, ktorý vyšetruje vraždu, a oni spolu s doktorom Watsonom prenasledujú policajnú loď a chytia zločincov rakvicou. Keď prenasleduje divocha, musí ho zabiť, pretože na svojich prenasledovateľov začína strieľať jedovatými tŕňmi. Watson vezme rakvu slečnu Morstenovú, ale nakoniec sa ukáže, že je prázdny, čo je doktor veľmi šťastný, pretože bariéra, ktorá podľa jeho názoru vznikla medzi ním a mladou ženou kvôli jej údajnému bohatstvu, zmizne. Teraz môže slobodne vyznať svoju lásku a ponúknuť svoju ruku a srdce. Slečna Morstenová považuje svoju ponuku za veľmi atraktívnu. Malý, uvedomujúc si, že by ho nevyhnutelne dohnali, hodil šperky do Temže, pretože nechcel nechať nikoho iného, aby si ho dal. Smrť Bartolomeja Šolta nebola súčasťou jeho plánov a nebol to on, kto ho zabil, ale zlý divoch bez vedomia malého. Aby to presvedčil Sherlocka Holmesa a Ethelney Jonesovej, rozpráva im príbeh jeho života. Vo svojej mladosti sa zapísal ako vojak do pluku a poslal do Indie. Čoskoro sa však musel s bohoslužbou rozlúčiť: keď sa kúpal v Tange, krokodíl si odhodil nohu nad koleno a stal sa bezmocným zmrzačením. Potom, keď pracoval ako dozorca na plantáži, sa v krajine náhle začala nepokoj. Malý sa ponáhľal k Agrovi a pripojil sa k britskej jednotke, ktorá sa uchytila v pevnosti Agra. Bol poverený strážením jedného z vchodov do pevnosti a dostal dve Sikhov. Tretiu noc Sikhovci zajali Malého a konfrontovali ho s výberom: byť s nimi alebo držať navždy. Povedali mu o svojom pláne: v severných provinciách žil jeden veľmi bohatý raja. Objednal časť svojho bohatstva, aby do konca vojny ukryl sluhu Achmet v pevnosti Agra, aby v prípade víťazstva Britov zachránil aspoň túto hruď. Spoločník Sikhov a Akmetov, ich spolupáchateľ, ho chcel zabiť a zmocniť sa rakvy. Malý sa rozhodol pripojiť sa k nim a prisahal na nich vernosť. Všetci štyria vykonali svoj plán. Skryl zavraždeného Achmeta v jednej z chodieb starej pevnosti, kam nikto nevstúpil. Hrudník bol oplotený v stene tej istej haly. Každý z nich dostal poznámku s plánom a symbolizoval svoju vernosť voči sebe „znamením štyroch“. Následne boli všetci odsúdení na doživotie za doživotie. Počas výkonu trestu nemohli využiť svoje bohatstvo. Potom sa Small dohodol s Sholtom a Morstenom, ktorí strážili väzenie, že im povie, kde je rakva ukrytá, dostanú svoj podiel a na oplátku zorganizujú únik pre štyroch väzňov. Šolto, ktorý išiel do rakvy, klamal všetkých a vrátil sa do Anglicka sám. Odvtedy začal Small žiť iba s pomyslenosťou na pomstu. Z väzenia utiekol pomocou priateľa - rodáka menom Tongo. V Anglicku nadviazal kontakt s jedným zo zamestnancov major Sholto a čakal na správny okamih. Bol to malý, kto hľadel z okna na umierajúceho majora. Čakal na krídlach a ukradol poklady. Na smrť Bartolomeja rozmotal Tonga lanom. To bol príbeh Jonathana Smallho.
Poklady nikomu nešli. Watson dostal manželku slečny Morstenovej, Ethelney Jonesovú - slávu za vyriešený zločin, a Holmes bol spokojný s ampulkou kokaínu.