Jako člověk Umělá inteligence a problém ovládání

Vývoj umělé inteligence (AI) směřuje k vytváření strojů, které zvládají stále větší díl kognitivních činností odkazujících k uvažování a rozhodování, které dosud spojujeme výhradně s člověkem. Tento vývoj může být ještě dlouhý, neměli bychom však nabývat dojmu, že cíle, ke kterým směřuje, jsou nedosažitelné.

Stroje, v jejichž činnosti budou inteligentní rysy a schopnosti zvládnuty, mohou hrozivým způsobem ovládnout rozhodování v reálném světě a sledovat vlastní cíle vyplývající z jejich programového vybavení i z jejich užití pro ovládání a manipulování společnosti. Potenciálním nebezpečím není jen AI destruující lidskou společnost, ale zejména taková AI, kterou navíc nebude možné vypnout bez ohledu na to, že užitek, který sleduje, přestal být člověku prospěšný a člověkem ovladatelný. Stuart Russel, autor jedné z nejvlivnějších dnes užívaných učebnic AI, přichází v této knize s konceptem „doložitelně prospěšné“ AI, o jejíž algoritmech bude možné matematicky dokázat, že sledují cíle prospěšné jejich lidským uživatelům.