Na het overlijden van zijn vader ontdekt de ambitieuze glamourboy Charlie Babbit dat hij een autistische broer heeft, Raymond. Door zich over zijn contactarme maar geniale broer te ontfermen, hoopt Charlie de helft van een miljoenenerfenis te kunnen bemachtigen. Het fotografisch geheugen van Raymond levert ongekende mogelijkheden op. Beide broers groeien naar elkaar toe in een waanzinnige reis dwars door de VS.