wow, thanks for this summary, looks impressive!<br><br>regards<br><br>mark<br><br><div class="gmail_quote">On Tue, May 20, 2008 at 8:39 PM, Dan Lewis &lt;<a href="mailto:dan@wikia.com">dan@wikia.com</a>&gt; wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Here is an update on what the Search team did last week.<br>
<br>
Grub:<br>
• &nbsp; &nbsp; &nbsp; Started the process for openly accepting from the community large<br>
dumps of URLs into grub to be crawled<br>
<br>
Operations:<br>
• &nbsp; &nbsp; &nbsp; Spent a few days last week in NYC meeting with Panther about our<br>
operational needs.<br>
• &nbsp; &nbsp; &nbsp; Ironing out some small problems, such as upgrading HBase backend<br>
clusters and patching the search server framework to add resiliency.<br>
<br>
Index:<br>
• &nbsp; &nbsp; &nbsp; Monitoring and deploying a &quot;whitelist&quot;-seeded crawl to see the<br>
quality of search results obtained that way.<br>
• &nbsp; &nbsp; &nbsp; Working on ways to handle multilingual search results<br>
<br>
Nutch 2:<br>
• &nbsp; &nbsp; &nbsp; Finished ant build scripts<br>
• &nbsp; &nbsp; &nbsp; Finished distributed and local unit tests<br>
• &nbsp; &nbsp; &nbsp; Completed serialization framework for easy writables<br>
• &nbsp; &nbsp; &nbsp; Refactored urlnomalizer and urlfilter to non-plugins<br>
• &nbsp; &nbsp; &nbsp; Completed Injector and CrawlBase Merger tools<br>
• &nbsp; &nbsp; &nbsp; Started working on Generator and Fetcher tools<br>
• &nbsp; &nbsp; &nbsp; Started working on improved version of Arc to Nutch Segments Tool<br>
<br>
Social Tools:<br>
• &nbsp; &nbsp; &nbsp; A lot of bug swatting and tweaking of the social toolset.<br>
• &nbsp; &nbsp; &nbsp; Added the ability to remove your profile photo<br>
• &nbsp; &nbsp; &nbsp; Began cleanup in general on some of the profile editing tools.<br>
• &nbsp; &nbsp; &nbsp; Added the ability to see if you have mutual friends with a person<br>
who is not your friend.<br>
<br>
Search Tools:<br>
• &nbsp; &nbsp; &nbsp; Made it so global changes will now show display some of the features<br>
Jer has been adding to the results pages.<br>
• &nbsp; &nbsp; &nbsp; Started documenting all of the features.<br>
_______________________________________________<br>
Wikia Search mailing list<br>
<a href="http://alpha.search.wikia.com/" target="_blank">http://alpha.search.wikia.com/</a><br>
Change options or unsubscribe: <a href="http://lists.wikia.com/mailman/options/search-l" target="_blank">http://lists.wikia.com/mailman/options/search-l</a></blockquote></div><br>