fejlesztői blog

Miner.hu blog: bejegyzések

1. 2006/08/30 11.08

   Stabilitás

   A mai nap főként a stabilitás jelentős javításával, teljesítményoptimalizálással, továbbá terhelhetőségi vizsgálatokkal telt. Egyszer majd talán írok arról, hogy hogyan épül fel az RSS begyűjtő megoldásunk, de addig is képzeljük el: van most már majd’ 44.000 blog, melyeket folyamatosan figyelnünk kell. Ez azt jelenti, hogy jelen felállás mellett napi két másodperc jut egy blogra. Ez alatt a napi két másodperc alatt kell naponta többször megnézni, hogy frissült-e, s ha frissült, akkor feldolgozni a tartalmát, beszúrni adatbázisba, majd le is indexelni. Nem lehetetlen a feladat mint a mellékelt ábra mutatja, de sok optimalizálást igényel. E közben pedig még ki is kell szolgálni a kereséseket. Ha valaki elérhetetlen oldalt tapasztalt a napokban - hát ezért volt, néha összegabalyodtak a feladatok, és blokkolták egymást. Ez remélhetőleg a múlté, most már elvileg nem lesz ilyen - de az elkövetkező napokban meglátjuk, mit mutat a gyakorlat. És már most látható volt, hogy az elvégzett feladatokon kívül is van lehetőség még további trükkökre a sebesség növelése érdekében.

   A terhelhetőségi vizsgálatok is jól sikerültek, úgy tűnik hogy az oldalt ha kell, a jelenlegihez képest sokszoros látogatottság mellett is stabilan képesek leszünk kiszolgálni a rendszer nagyobb átalakítása nélkül - legfeljebb kerülnek még be további szerverek a jelenlegiek mellé. Haladunk szépen a növekedésben, de mennyi minden hátra van még!

   Ha már nincs új szolgáltatás mára, nézzünk egy kis statisztikát: 3 nap alatt 25.000 bejegyzés került be a rendszerbe. Ez részben újabb adag bloghalmaz hozzáadásának köszönhető, de a blog bejegyzések növekedése is elég figyelemreméltó: napi 3.000-4.000 bejegyzés születik egy-egy nap, ami elég kellemesnek mondható.

   Amint lesz egy kis időnk rá, lépünk tovább, holnapra be van ütemezve egy-két új funkció is.

   Még nem érkezett hozzászólás
2. 2006/08/29 11.08

   Új funkció: “boolean” keresés

   Vagyis használhatsz “&”, “|”, “-” jeleket, továbbá zárójeleket, idézőjeleket. Ígértem mára még egy funkciót, nos itt van: a keresőben ezután használhatóak a különböző logikai jelölők, melyek a keresett szavak kapcsolatát jelzik. Nézzük, hogy pontosan mit is jelent ez:

   & jel (”és” jel): Ha egy & jelet teszünk két szó közé, akkor a keresés során csak olyan találatokat kapunk vissza, melyekben mind a két szó szerepel. Vagyis ha ez a két szó “alma” és “körte”, akkor azok, melyekben a körte és az alma szó is szerepel. Például: alma & körte

   | jel (”vagy” jel): Ha egy | jelet teszünk két szó közé, akkor a találatok között a két szót akár külön tartalmazó dokumentumok összessége fog szerepelni. Vagyis ha ez a két szó “alma” és “körte”, akkor azok a dokumentumok, melyekeben az alma vagy a körte szó szerepel. Például: alma | körte

   - jel (”mínusz” jel): Ha egy konkrét szó elé - jelet teszünk, akkor a találatok közül kimaradnak azok a dokumentumok, melyek ezt a szót tartalmazzák. Értelemszerűen csak akkor kapunk vissza találatot, ha nem csak ez az egy szó szerepel a keresett bejegyzésekben (a semmiből elvéve bármilyen szavakat, nem kapunk vissza találatok). A - helyett egyébként használhatunk !-t (felkiáltójelet) és ~-t (”hullám” karaktert) is. Például: alma -körte

   “ jelek (idézőjelek): Ha több szót idézőjelek közé teszünk, akkor a találatok között csak olyan bejegyzések fognak szerepelni, melyekben ezek a szavak egymás mellett szerepelnek. Például: “alma körte”

   ( és ) jelek (zárójelek): A szavakat a matematikában megszokott módon zárójelezni lehet, és az így alkotott csoportok között műveleteket végrehajtani. Ha a gyümölcsöknél maradunk, tegyük fel, hogy azokat a bejegyzéseket keressük, melyekben az alma és a körte együttesen vagy pedig a szőlő és a barack együtt vannak. Ezt a következőképpen írjuk le: (alma & körte) | (szőlő & barack)

   Ezen kívül még azt kell tudni, hogy ha két szó közé nem tesz az ember semmilyen jelet, akkor a szóköz egy & jelnek, vagyis “és” kapcsolatnak fog minősülni.

   A fejlesztés célja az volt, hogy minél pontosabb keresési eredményeket tudjon produkálni a kereső, például ott, ahol rokon értelmű szavak megnehezítik a keresést, vagy csak túl sok a találat, és szűkítésre lesz szükség. Jó keresést!

   Eddig 3 hozzászólás érkezett
3. 2006/08/29 07.08

   Új funkció: Milyen vagyok? integráció

   Aki figyelt, a délelőtt folyamán immáron egy új funkcióval is találkozhatott: Szántó Ádámmal, vagyis admc-vel együttműködve beintegráltuk a rendszerbe a Milyen Vagyok? oldal linkjeit: ha a találatok között olyan blog jelenik meg, amelynek van mv-s profil oldala (vagyis tartozik hozzá jellemzés, blogmark, vagy bármi más az oldalon), akkor a blog neve mellett megjelenik egy kis “milyen vagyok” banner képében a link az oldalára.

   Még nem érkezett hozzászólás
4. 2006/08/28 07.08

   Új funkció: RSS hírforrások

   Az első funkció a sorban: ezentúl a keresések eredménye elérhető lesz RSS formátumban is. Mit is jelent ez? Például azt, hogy ki tudod tenni a saját oldaladra, blogodra a keresések találatait. Vagy fel tudod venni kedvenc RSS olvasódba is a keresést. Kereshetsz céged termékére, kedvenc együttesedre, saját nevedre, vagy csak egy éppen aktuális eseményre - nálunk meg fogod találni biztosan.

   Ha szeretnéd az RSS címét megtudni, csak keress rá a kívánt kifejezésre, és egy “feed” feliratot, illetve RSS ikont fogsz látni - ez linkel az RSS formátumú találati listára.

   Holnap egy másik új funkció következik. Vagy kettő?

   Még nem érkezett hozzászólás
5. 2006/08/27 09.08

   Tervezett szolgáltatások

   Ahogy az előző bejegyzésben is írtam: a stabil alapokra most már be lehet majd vezetni új szolgáltatásokat. Minden tervezett újdonságot nem fogok most leírni, de azért párról szót ejtenék.

   Az egyik változás, ami érinteni fogja az oldalt, a designban lesz. Túl sok kritika érte, így kap majd az oldal egy újat, mely immáron nem egy ingyenes sablonra fog épülni. Remélem most már nem lesz azzal sem gond, hogy a másik hasonló szolgáltatással összekeverhető megjelenése lesz az oldalnak.

   Ami már a kezdetektől fogva hiányzik: a saját blog hozzáadása is meg fog jelenni az oldalon. Mivel egyszerűen lehetetlenség minden magyar nyelvű blogot megtalálni anélkül, hogy ebbe a blog tulajdonosok is be lennének vonva, ezért egy egyszerű form segítségével lehet majd beküldeni blog RSS URL-eket. Ezek elbírálás után (csak blog jellegű oldalról lehet szó, és magyarnak kell lennie) azonnal be fognak kerülni a rendszerbe.

   További lehetőség lesz a regisztráció, mely a keresés működését közvetlenül ugyan nem fogja érinteni, de a regisztrálókat különböző előnyökhoz fogja tudni juttatni - egyes szolgáltatások jellegükből adódóan ehhez lesznek kötve ugyanis. A tervezett szolgáltatások egy része a hazai közösség kialakítását, egymás megismerését fogja szolgálni, míg a másik részük csak az adott blog tulajdonosnak lehet majd hasznos.  A közzösségformáló szolgáltatások terén például egy érdekes szolgáltatás lehet majd a toplista: mely az adott nap legtöbb friss blogbejegyzést tartalmazó blogját fogja mutatni, illetve általában egy statisztika oldal, mely érdekesebb számszerű adatokat fog közzétenni a hazai blogszféra alakulásáról.

   Remélem, hogy a tervezett szolgáltatások sikeresek lesznek, s ezáltal jobban meg fogjuk majd kicsit ismerni egymást. Az elmúlt hetek fejlesztése közben csak a címlapot figyelve is számos olyan bloggal találkoztam, melyek értékes és érdekes tartalmat “termelnek” nap-mint-nap, és tartalmas olvasnivalót kínáltak számomra. Érdekes játék kibányászni az aranyrögöket, tegyetek így ti is!

   Még nem érkezett hozzászólás
6. 2006/08/27 08.08

   Eddig

   Az oldal története a Webizen hasábjain már olvasható volt, az ott leírtakhoz nem is tennék hozzá sokat - a blogkereső szolgáltatásunk két és fél hete indult el. Az indulásról először sHaMaLt írt, megelőzve a hivatalosnak mondható webizenes bejelentést is. Tette ezt ő is, és a blog bejegyzéséhez hozzászólók is kifejezetten kritikusan, ami úgy gondolom, hogy nagyon hasznos volt a miner.hu számára. Pár félreértést sikeresen tisztáztunk (nála és máshol is), s ma már talán ő is lát fantáziát az oldalban és használatában. Az oldalról írt még kobak, lymmz, Szántó Balázs, Berényi Konrád, lipilee, PAStheLoD, Doranksy, és Linelord is (mellőztem bármilyen sorrendet), hol kritikusan, hol dícsérő szavakkal.

   A kezdeti szlogen időközben megváltozott, az oldal végül a “találó szolgáltatás” alcímet kapta - nem véletlenül. A keresés fejlődik és bővül, a kezdeti pár száz blog pár ezer bejegyzéséből most már 33.330 blog 300.000 bejegyzése lett. A kezdeti keresési megvalósítás amit beállítottunk az oldal mögé gyorsan ki is nőtte magát, s az utóbbi pár hétben sajnos előfordult, hogy egy keresés akár egy egész percig is eltartott. Ezt küzdöttük le végül mostanra, s a blogok számának dinamikus bővülése mellett sikerült kialakítanunk egy olyan megoldást, mely lehetővé teszi a normál sebességű működést. A keresés szép számmal talál bejegyzéseket, s immáron elmondható, hogy a magyar nyelvű modern blogok 90+ százalékában keres. Azért kell hozzátennem a modern jelzőt, mivel érdekes módon léteznek olyan hazai blogok, illetve blogszolgáltatók, melyek nem teszik a blogbejegyzéseket elérhetővé RSS formájában.

   A jelenlegi funkciók persze nem mondhatóak sem ötletesnek, sem egyedinek, talán csak annyiban, hogy jelenleg egy másik (akár hazai, akár külföldi) szolgáltatás sem keres ilyen jól célzottan a magyar nyelvű blog tartalmakban. Most viszont, hogy megvannak a biztos alapok, már van mire építkezni, s elkezdhetjük azokat a szolgáltatásokat is bővíteni, melyektől valóban egyedivé válik az oldal, remélhetőleg a hazai blogszféra javára. De erről szóljon egy másik bejegyzés.

   Eddig 4 hozzászólás érkezett
7. 2006/08/27 06.08

   Beindult a blog, 300.000 blogbejegyzés

   Ebben a pillanatban értük el a 300.000 blog bejegyzést, s ezzel beindult blogunk is, ahol a miner.hu blogkeresővel kapcsolatos fejlesztéseinkről lehet majd olvasni. Az indulásról és a jövőről egy-egy blog bejegyzésben még a nap folyamán írni fogok, addig is ünnepeljünk, fiatalok!

   Eddig 7 hozzászólás érkezett