DE SOUZA, Clarisse Sieckenius. The semiotic engineering of human-computer interaction. Cambridge (MA, USA) : MIT, 2005. xxi, 283 s. ISBN 0-262-04220-7.

Autorka působí ve Výzkumném centru sémiotického inženýrství SERG v Riu de Janeiro a je jednou z mála osobností zabývající se sémiotikou v počítačových systémech (vedle např. Nadina (1988) a Andersena (1997)).

Svou bezmála 300stránkovou publikaci dělí na tři části. V první nazvané "Základy" poskytuje souhrn sémiotických teorií, na kterých staví v dalších částech práce, a definuje svoji metodu sémiotického inženýrství. Ve druhé nazvané "Odvození" ukazuje na různých příkladech možnosti aplikace svého přístupu vycházejícího z lingvistiky a sémiotiky (Eco, Peirce, Austin a jiní). Závěrečnou část "Otázky" věnuje reflexi svého postupu a jeho přínosu pro design smysluplnějších aplikací a vyvrácení některých možných protiargumentů. Záměrem práce podle autorky není poskytnout konečné odpovědi a postupy, nýbrž zdůvodnit potřebu alternativního přístupu k designu a zjistit, který z načrtnutých postupů bude nosný pro tvorbu ucelené metodiky a nástrojů.

Úvodem vymezuje rámec sémiotického inženýrství, který spočívá v tom, že designér, artefakt i uživatel má v komunikativním procesu HCI (Human-computer Interaction) stejnou roli. To je v kontrastu se zavedenou perspektivou UCD (User-centered Design), viz Norman a Draper (1986), podle které se designéři snaží co nejvěrněji určit potřeby a požadavky uživatelů. Předpokládá se, že "pokud bude designérův model navozen vhodným systémovým obrazem opírajícím se o známé koncepty a intuitivní vztahy, pak budou moci uživatelé snadno pochytit a zapamatovat si, jak systém funguje. Naproti tomu sémiotické inženýrství, ačkoli také vychází z potřeb a přání uživatelů, se nesnaží vybudovat pouze systémový obraz, ale komunikovat uživatelům vlastní vizi" (s. 7).

Ze sémiotické tradice si k tomu bere na pomoc Peirceův výklad znaku a triadické schéma, cyklus dedukce a abdukce, klasifikaci znaků a kategorie prvosti, druhosti a třeťosti. (Tvoří to jistou podobnost s Normanovou triádou plánů designu - viscerální, behaviorální a reflektivní.) Roli interpretantu podtrhuje jako kulturní úzus. Dostává se tím k pragmatice a k Austinovým mluvním aktům (zvláště ilokuce a perlokuce), Searleovým mluvním třídám a Griceho maximám, které ilustruje na zažitých pravidlech v HCI, jako u Shneidermanova (1998) "důrazu na konzistenci" (maxima způsobu) a "poskytování informativní zpětné vazby" (maxima kvantity) nebo Nielsenovy (1994) "viditelnosti stavu systému" (maxima kvality) a "estetického a minimalistického designu" (všechny čtyři maximy vč. maximy relevance) (s. 61). Pokračuje k Leechovu principu zdvořilosti a Jakobsonovu modelu komunikačního prostoru (příjemce, odesílatel, kontext, kanál, zpráva, kód).

HCI je z pohledu sémiotiky "specifickým druhem dvojaké metakomunikace zprostředkované počítačem, ve které designéři počítačového systému zasílají uživatelům jednosměrné sdělení (one-shot message)", které lze parafrázovat takto: "Takto chápu, kdo jste, co jsem zjistil, že potřebujete nebo chcete dělat, jakým způsobem a proč. Proto jsem Vám navrhl tento systém, který byste měli tak a tak používat, abyste dosáhli spektrum cílů, které sledují výše uvedenou vizi" (s. 84). Interface vzniká zakódováním zpravidla poslední designerovy sémiosis, kterou je právě uvedené jednosměrné sdělení. To ale odporuje evoluční povaze sémiosis jako neustálé tvorbě významu. Aby designér co nejvíce přiblížil svou vizi uživateli, měl by využívat metakomunikaci, nechat systém promlouvat svým jménem. Systém se tím pádem stává designérovým zástupcem (designer's deputy) - komunikujícím agentem sdělujícím designerovu zprávu (s. 90). Ten se zpravidla ukrývá v online nápovědě a "reprodukuje jen omezený segment (řízený pravidly) designérovy sémiosis" (s. 98). Sémiotika nám zde proto může napomoci odhalit významové aspekty, kterých bychom si jinak nevšimli, viz Morris (1938).

Druhá část začíná definicí komunikovatelnosti. Úkolem HCI designérů je "vytvořit komplexní systém interaktivních typů, na základě kterých uživatelé produkují potenciálně nekonečné množství tokenů" (s. 114). Je to tedy schopnost designérova zástupce dosáhnout plné metakomunikace (tamt.). Metakomunikace nastane, pokud uživatel a designérův zástupce produkují takové ilokuce, kde výraz, obsah i záměr mění stav věcí - tedy perlokuce (s. 123). Míru naplnění perlokuce můžeme vyhodnocovat pomocí tří hlavních komunikativních kategorií, kterými jsou úplné selhání, dočasné selhání a částečné selhání (s. 124). Tyto kategorie pak vyhodnocovatel plní na základě záznamu uživatelovy interakce a hledá vzorce jednání. Nechává jej přitom označovat průběh interakce slovy. Takové označování (tagging) lze aplikovat pouze na činnost zaměřenou k určitému cíli (goal-directed), proto musí vyhodnocovatel provést tyto přípravné kroky:

• prostudovat aplikaci, aby určil designérovo metakomunikační sdělení;
• vybrat stěžejní části aplikace, které se využijí pro test;
• připravit uživatelské scénáře, které by co nejvíce odpovídaly vybraným částem aplikace a vybrat tři až 10 "typických" uživatelů (viz např. A. Cooper a teorie person);
• vypracovat dotazníky nebo body pro rozhovor, které se předloží uživatelům před nebo po testu;
• připravit způsob záznamu uživatelské interakce, ať už automatický nebo ruční, a vhodný způsob jeho archivace. (s. 127-8).

Pro vyhodnocování autorka vytipovala 13 základních reakcí charakterizujících různé stupně selhání komunikace systému (resp. zástupce designéra) a uživatele: Co to je?, Proč to nefunguje?, Pomoc!, Kde to je?, Co teď?, Co se to stalo?, Jejda!, Kde to jsem?, Takhle to nejde, "Ne, děkuji", Jde to jinak, Zdá se mi to v pořádku, Vzdávám to (s. 129). Tyto typy selhání pak přiřazuje různým kognitivním nebo heuristickým problémům, které uvádí v příslušných tabulkách.

Dosavadní výzkum SERGu se zaměřil především na oblast online nápovědy, EUP (End-user Programming) a CSCW (Computer-supported Collaborative Work). Pro analýzu jednotlivých oblastí interakce s online nápovědou Silveira (2002) navrhuje šest designových modelů, na základě kterých se konstruují explicitní metakomunikace: doménový model, uživatelský model, aplikační model, úkonový model, interakční model, model rozhraní (s. 153). Tyto jednotlivé modely odpovídají na následující otázky: Kdo jsou uživatelé aplikace? Co obvykle dělají ve své doméně aktivit? Co se očekává od aplikace v dané doméně? Které doménové objekty jsou přítomné v aplikaci? Jaké aktivity a úkony lze provádět? Proč jsou aktivity a úkony nutné, koho ovlivňují, na kom nebo na čem závisí? Jaké znaky tvoří významový systém rozhraní? Jak interakce probíhá? Kdy a proč je jeden typ interakce lepší než ten druhý, když dosahují stejného výsledku? (s. 157).

Když designéři konstruují jazyk, aby sdělili svou zprávu uživatelům a aby uživatelé mohli komunikovat se zástupcem designéra, vytvářejí sémiotická nekonečna, jejichž hranice nelze poznat vyčerpávajícím způsobem (s. 164). Proto znaky mají čtyři významová teritoria: centrální oblast odpovídá designérově cílené perlokuci, okolní oblast jsou znaky sice náležející kódovému systému, ale nesledují pragmatické cíle designéra - patří sem např. různé dialogy a chybová hlášení. Je to oblast domýšlených, avšak necílených perlokucí. Třetí oblast tvoří nedomýšlené a necílené perlokuce, např. "A fatal error occured". Čtvrtou a poslední oblastí jsou neuskutečnitelné perlokuce a tvoří ji vše, co spadá mimo rámec toho, co systém umožňuje.

Jaký je sémiotický rozdíl mezi lidskou a počítačovou perspektivou? Tak předně pracujeme s výrazem, obsahem a záměrem, kdežto počítače s lexikem, syntaxí a sémantikou (s. 182). Výraz obsahuje lexikální a syntaktickou složku, zatímco počítačová sémantika zahrnuje obsah a záměr (s. 176). Na tomto základě lze pak analyzovat, co tvoří smysluplnou interakci. U hotových systémů je pak "úkolem uživatelů formulovat svůj záměr jakožto komputabilní komunikaci podpořenou zakódovaným významovým systémem" (s. 185). To má využití zvláště u aplikací podporujících EUP (jako jsou např. makra ve Wordu), kde chceme, aby uživatel mohl zasahovat jen do určitých částí programu. Mluvíme zde o úpravě a rozšíření daného softwaru. Jejich význam tkví především v tom, že se přiblíží lidské sémiosis a tím i přirozené komunikaci systému a uživatele (s. 198).

Na všech úrovních systému je nutné, aby vlastnosti rozhraní byly "verbalizovatelné", abychom o něm mohli smysluplně mluvit nejen mezi sebou, ale také se zástupcem designéra (s. 197).

U kolaborativních systémů typu CSCW se nejvíce zavedlo použití tří typů metafor: metafora komunikačního centra (chat), metafora virtuálního prostředí (ActiveWorlds) a metafora telekomunikačního zařízení (fax) (s. 201). "Metafory podporují určité sémiosické průběhy před jinými, a tím důležitým způsobem ovlivňují poznání" (s. 202). Zajímavé je zde propojení s Peirceovými katagoriemi. "V komunikaci tváří v tvář je přítomnost druhého zakoušena ještě předtím, než ji interpretujeme. Ve virtuálním světě můžeme přítomnost zakoušet jen přes znaky druhosti (podle zvuku a obrazu sebe a druhých) nebo třeťosti (podle jmen a postav avatarů nás a druhých). (...) Protože jsou uživatelé ochuzeni o prvost, musí přeznačit prvost jako druhost nebo třeťost..." (s. 213). Role prvosti se váže k roli vnímaných umožnění (perceived affordances (Norman,1988)) (s. 214). Zde se uvádí další paralela s UCD - přímá manipulace (Shneiderman) snižuje význam a potřebu lingvistického diskurzu a zároveň povyšuje intuitivitu a umožnění (tamt.). V tomto kontextu se objevuje i zajímavá spojitost s teorií aktivity (Kaptelinin, 1996), která se zajímá o to, "jak je lidský záměr ovlivňován a utvářen nástroji a technologiemi, které používají pro činnost ve světě" (tamt.). Uživatelé nekomunikují s aparátem, ale skrze něj. Odtud idea průhlednosti (Preece et al., 1994) systému, který se upozaďuje a nechává uživatele působit přímo na 'objekt' své aktivity (Nardi, 1996) (s. 215).

Závěrem autorka shrnuje východiska potřeby sémiotického pohledu na design HCI. Každý program nese své vlastní pojetí pravdy, víru o uživatelích. Sémiotické inženýrství tvrdí, že "počítačové programy reprezentují, co 'designér' považuje za pravdivé o povaze, užitečnosti a dopadu artefaktu, který navrhuje" (s. 249). Program je tak "jedinečným znakem mysli jeho 'tvůrce', znakem vypovídajícím mnohem více o svém původu, účelu a chování než kterýkoli jiný znak v naší kultuře" (s. 250). "Věnuje se málo pozornosti navzájem se posilujícím a předávaným vírám, které jsou mlčky přijímány jako 'pravá praktická znalost' jen proto, že mohou být vyjádřeny v počítačem zpracovatelné formě a mohou generovat reprezentace řešení reprezentací praktických pracovních problémů" (s. 251).

De Souza také nabízí odlišný pohled na to, co tvoří úspěšné aplikace. "Není to míra, do jaké se designérův význam 'shoduje' s významem uživatelů, ale spíše míra, kolik designérových významů se použije pro úspěšné vyjádření toho, co sami uživatelé zamýšleli. Tato metrika nám může poskytnout užitečný vhled do zamýšlené versus vnímané hodnoty technologie více, nežli do složitosti versus jednoduchosti vykonání dané sady úkonů a času potřebnému k jejich naučení se" (s. 255). Nabádá proto nejen k tomu poznat uživatele, což je mantra všech přístupů UCD v HCI, ale naopak poznat designéry (s. 256).

"Lidé a počítače jsou stejnoprávnými občany v doméně sémiotiky" (s. 258), což přináší ohrožení současným praktikám, kde je cílem maximální možná shoda mezi systémovým a uživatelovým významem, protože tvrdí, že lidský význam nelze plně zakódovat do počítačového systému (tamt.). Pro uživatele je důležité umět se vcítit do ideálního uživatele daného systému, aby se mohl stát součástí velkého vyprávění počítače.

Argumentem pro teorii sémiotického inženýrství je i fakt, že se tato teorie ptá po implicitní etice v HCI, podle které  by uživatelé neměli vědět více o počítačích, ale jen je umět používat. Tato teorie ukazuje, že designéři a vývojáři tvoří počítačové artefakty zpravidla jako nepoznatelné. Pak ovšem není překvapující, že pro lidi jsou obtížně pochopitelné nebo vůbec nepochopitelné (s. 259).

Přestože se práce omezuje jen na některé oblasti HCI a prezentuje teprve rodící se teorii sémiotického inženýrství, uváděné příklady poměrně přesvědčivě ilustrují přínos takovéhoto nového pohledu na design interaktivních počítačových systémů. Některé části už nyní poskytují ucelené návody pro design a testování ze sémiotické perspektivy. Autorka používá velmi hutný a formální jazyk, který jde sice na vrub snazšímu porozumění, na druhou stranu ale dovoluje přesně formulovat její novátorské pojetí. Toto dílo lze doporučit všem badatelům a tvůrcům na poli HCI se zájmem o tvorbu snáze pochopitelných rozhraní stavících na přínosech sémiotiky.