iQONを支えるクローラー/iQON Crawler

Transcript

1. BEHIND the iQON CRAWLER iQONΛࢧ͑ΔΫϩʔϥʔ VASILY,Inc. @kyuns IVS CTO Night

   & Day 2015 Spring powered by AWS

2. ࠓଜ
   խ޾ @kyuns / Ωϡϯ VASILY,Inc औక໾CTO / Co-Founder 2006೥ʹYahoo!JAPANʹ৽ଔೖࣾ
   Yahoo!FASHIONɺXBRANDͳͲͷϝσΟΞͷ্ཱͪ͛
   

   2009೥ʹಠཱɺVASILYΛ૑ۀɺऔక໾CTOʹब೚
   ޷͖ͳ"84αʔϏε͸
   4
   ޷͖ͳ੠༏͸ਫथಸʑ

3. ઃཱ :2008೥11݄ ैۀһ :53ਓ / (ΤϯδχΞ17໊) ࢿຊۚ :8ԯ2,458ສ גओɹ :KDDI

   ITV GCP GMOVP
4. None

5. ೔ຊதͷECαΠτͷ
   ঎඼σʔλΛܝࡌ ೔ຊ࠷େڃͷ
   ϑΝογϣϯΞϓϦʮΞΠίϯʯ ձһ਺ 230ສਓ

6. J20/ͷ
   ΫϩʔϥʔͬͯԿʁ

7. Λ௒͑Δ೔ຊதͷϑΝογϣϯ&$αΠτͷσʔλΛ
   શͯΫϩʔϧɺ஋ஈɺࣸਅɺઆ໌ɺࡏݿΛ௥੻ॲཧ

8. ͱ͋ΔனԼ͕Γʜ

9. ਓؾ501ϒϥϯυ
   ͍͍ײ͡ʹશ෦Ϋϩʔϧͯ͠Α

10. ཱͪ͸͔ͩΔ՝୊ w ϒϥϯυҎ্Λຖ೔Ϋϩʔϧ௥੻͢Δʹ͸ εέδϡʔϥʔΛޮ཰Խ͠ͳ͍ͱ͍͚ͳ͍
    w ΧςΰϦ൑ఆ΍ϞϊɺϞσϧɺτϧιʔͷ൑ఆͳ Ͳɺਓ͕͍ؒͯͨ͜͠ͱΛແ͘͞ͳ͍ͱ͍͚ͳ͍
    w ͦ΋ͦ΋91"5)Λਓ͕ؒௐ΂ΔͷΛͳΜͱ͔͠ͳ ͍ͱ͍͚ͳ͍

11. iQON Crawler 4.0 = શࣗಈԽ

12. ΧςΰϦ൑ఆͷࣗಈԽ w ͋ΒΏΔϑΝογϣϯ༻ޠΛ໢ཏͨ͠
 ϑΝογϣϯʹಛԽͨࣙ͠ॻΛੜ੒ 
    w &$αΠτͷλΠτϧɺઆ໌จɺͺΜͣ͘Ϧετ͔ΒεςοϓΛܦͯ൑ఆ
 จ຺ͷ൑ఆͳͲ΋ߦ͍ͬͯΔ
 ྫʮ
    ΊͪΌͪ͘Ό͔Θ͍͍όοάʂεΧʔτʹ΋͋͏ʂʯ౳ͷઆ໌จͷ৔߹͸εΧʔ

    τʹޡ൑ఆ͠ͳ͍Α͏ͳจ຺Λҙࣝͨ͠ॲཧʣ
    w ͷ঎඼͸্هεςοϓ͔Β൑ఆͰ͖Δ
    w ϓϧΦʔόʔͱ͔5γϟπʹ΋ϒϥ΢εʹ΋෼ྨͰ͖ͯ͠·͏
 αΠτ͝ͱʹ΋ఆ͕ٛҧͬͨΓ͢Δ
    w ࢒Γͷෳࡶͳ΋ͷ͸ػցֶशʹ͔͚ͯ൑ఆ

13. ը૾൑ఆͷࣗಈԽ ϞϊɺϞσϧɺτϧιʔΛը૾ղੳΛۦ࢖ͯ͠ɺࣗಈతʹ൑ఆɻ ෼ྨਫ਼౓͸ˋ
    ͞ΒʹɺϞϊը૾͸ΤσΟλͰ࢖͏ͨΊʹനൈ͖ॲཧΛશࣗಈͰߦ͏

14. 91"5)நग़ͷࣗಈԽ &$αΠτͷߏ଄ΛӡӦ ϕϯμʔ΍աڈͷ৘ใΛ ݩʹಛ௃Խ
    %0.ͷߏ଄͔Β֤ཁૉ Β͖͠΋ͷΛ൑அ ஋ஈɺ λΠτϧ
    πʔϧͰ91"5)΋؅ཧ

15. ޮ཰ͷ͍͍Ϋϩʔϧͱ͸ w ΫϩʔϧͷXPSLFSΛHPͰॻ͖ͳ͓ͯ͠ EPDLFS &MBTUJD#FBOTUBMLͰBVUPTDBMFͰΫϩʔϧ͠·͘Γʂ
 ઌํͷαΠτ͕͙͢ࢮ͵
    w  ͷน
    

    αΠτඵΞΫηε·Ͱͱ͍͏ਈ࢜ڠఆ
    

    w ෳ਺XPSLFSΛ·͍ͨͩ෼ࢄϩοΫػߏ͕ඞཁ

16. w %JTUSJCVUFE
    -PDL
    XJUI
    3FEJT %-.
    IUUQSFEJTJPUPQJDTEJTUMPDL
    w ಠࣗʹ࣌ݶ෇͖෼ࢄϩοΫSFEJTEJTUNVUFYΛ։ൃ WBTJMZKQSFEJTEJTUNVUFY
    w ٕज़ϒϩά
    IUUQUFDIWBTJMZKQDSBXMTJUFTXJUISFEJTEJTUNVUFY
    

    w αΠτͷϨεϙϯεੑೳʹؔ܎ͳ͘ҰఆִؒͰޮ཰తʹΫϩʔϧͰ͖Δ Resque (fetch) Fetch worker &$
    4JUF Dist Mutex Resque (process) Fetch worker Fetch worker Sender 1.enqueue 2.dequeue 3.try_lock 4.get DB 5.save 6.enqueue

17. ·ͱΊ w $&0ͷແ஡ͿΓʹ͸ٕज़ͰԠ͑Α͏
    w Ϋϩʔϥʔʹ͍ͭͯฉ͖͍ͨਓ͓଴ͪͯ͠·͢