Alexa jde do služeb a vytváří tak trochu jiný SearchEngine

Alexa, u nás ne příliš známý vyhledávač patřící Amazonu, se vydal cestou služeb a otevřel svoji vyhledávací technologii včetně indexu světu. Do poklidných vod vyhledávačů se dostává (staro)nová myšlenka, která působí docela sexy. Tedy pokud chcete vytvořit vlastní vyhledávač …

Alexa nabízí vyhledávač, jeho index, procesorový čas, místo na disku atd. a to vše jako službu. Ovšem placenou. Za poplatek tak máte přístup k terabajtům informací a to i těm, které běžně na vyhledávačích uživatelům přistupné nejsou.

K dipozici máte API s jehož pomocí můžete celý ten „ansámbl“ řídit a pracovat s ním. Oblasti, které toto otevírá jsou obrovsky široké a na první pohled ne zcela zřetelné. Uvedu několik příkladů:

– díky datům z Alexy můžete lehce vytvořit stromovou strukturu odkazů směřujících přes několik úrovní webů až k tomu vašemu webu nebo jinak analyzovat prostředí „okolo vašeho webu“.

– vytvoření vertikálních portálů specializovaných např. na prohledávání blogů, ezinů, hledání vedeckých informací, informací pro ženy atd.

Podívějte se na příklad, který nabízí pro inspiraci samotná Alexa: Camera Image Search.

Na obrázku výše vidíte architekturu řešení v níž jsou tyto systémy:

Interactive nodes – to jsou počítače, které jsou přístupovým bodem pro data. Cokoliv co do Alexy chcete dostat projde tudy. Zcela otevřeně, jsou to podle všeho počítače s Linuxem na které přistupujete přes … SSH. Přístup k nim je na základě rezervace.

User Store – jak jsem pochopil tak to není nic jiného než disky na nimž mimo jiné domovské adresáře z Interactive nodes. Jsou zde uložena všechna uživatelská data.

Data Store – dokumenty a data schromážděná stahovadlem Alexy, typicky je zde kolem 300 TB dat.

Portal – primární uživatelské rozhraní do AWSP. Zde se přihlašujete, provádíte rezervace atd.

Compute cluster – zde se to vše provádí , výpočetní centrum.

A cože to vše stojí? 1 dolar za hodinu procesorového času a stejně tak za 1 GB dat a nebo 50 GB zpracovaných dat atd.

Alexa tak sama sebe posuvá do role poskytovatele infrastruktury a umožňuje tak na zákledě svých služeb budovat služby další. To je oč se tu bude hrát v následujích letech.