2017-02-10 [長年日記]

scrapy で取得順をランダムにしたい [Python]

うーん。これがデフォルトで搭載されていないのだろうか。

まぁ、その辺の自由度どうにかならない? というissueはありましたけど。

https://github.com/scrapy/scrapy/issues/2435


完全にランダムでよければ、キューがメモリに収まっている範囲に限定ですが、こんな感じでできました。

import random
import collections

from scrapy.squeues import FifoMemoryQueue

class RandomizedMemoryQueue(FifoMemoryQueue):
    def __init__(self):
        super().__init__()

        assert isinstance(self.q, collections.deque)

    def pop(self):
        q = self.q

        if q:
            q.rotate(random.randint(0, len(q) - 1))

        return q.pop() if q else None

myproject/my_queue.py とかいう名前で保存します。(myproject が scrapyプロジェクト名として)
で、setting.py とか、設定に、

SCHEDULER_MEMORY_QUEUE = 'myproject.my_queue.RandomizedMemoryQueue'

を追加します。


2017-01-31 [長年日記]

仁義なきキリスト教史, パンゲアの零兆遊戯 ほか [novel]

出エジプト記がすごい。

仁義なきキリスト教史 (ちくま文庫)

  • 作者: 架神 恭介
  • 出版社/メーカー: 筑摩書房
  • 発売: 2016-12-07
  • ASIN: 4480434038
  • メディア: 文庫
  • amazon.co.jp詳細へ


あいかわらず、なにごともなかったかのように終わる。

パンゲアの零兆遊戯

  • 作者: 上遠野浩平
  • 出版社/メーカー: 祥伝社
  • 発売: 2016-11-10
  • ASIN: 4396635125
  • メディア: 単行本
  • amazon.co.jp詳細へ


新装版 ロードス島戦記 3 火竜山の魔竜(上) (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: 角川書店
  • 発売: 2013-11-30
  • ASIN: 4041011159
  • メディア: 文庫
  • amazon.co.jp詳細へ

新装版 ロードス島戦記 4 火竜山の魔竜(下) (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: KADOKAWA/角川書店
  • 発売: 2013-12-28
  • ASIN: 4041011485
  • メディア: 文庫
  • amazon.co.jp詳細へ

新装版 ロードス島戦記 5 王たちの聖戦 (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: KADOKAWA/角川書店
  • 発売: 2013-12-28
  • ASIN: 4041011493
  • メディア: 文庫
  • amazon.co.jp詳細へ

新装版 ロードス島戦記 6 ロードスの聖騎士(上) (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: KADOKAWA/角川書店
  • 発売: 2014-01-31
  • ASIN: 4041011507
  • メディア: 文庫
  • amazon.co.jp詳細へ

新装版 ロードス島戦記 7 ロードスの聖騎士(下) (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: KADOKAWA/角川書店
  • 発売: 2014-01-31
  • ASIN: 4041011515
  • メディア: 文庫
  • amazon.co.jp詳細へ

涼宮ハルヒの暴走 (角川スニーカー文庫)

  • 作者: 谷川 流
  • 出版社/メーカー: 角川書店
  • 発売: 2004-10-01
  • ASIN: 4044292051
  • メディア: ペーパーバック
  • amazon.co.jp詳細へ

〜憂鬱しか読んだことないけど適当に読んでみるかー。


2016-12-29 [長年日記]

デボラ、眠っているのか? ほか [novel][nook]

SF。すごくSF。

デボラ、眠っているのか? Deborah, Are You Sleeping? (講談社タイガ)

  • 作者: 森 博嗣
  • 出版社/メーカー: 講談社
  • 発売: 2016-10-19
  • ASIN: 406294037X
  • メディア: 文庫
  • amazon.co.jp詳細へ


新装版 ロードス島戦記 灰色の魔女 (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: 角川書店
  • 発売: 2013-10-31
  • ASIN: 4041010624
  • メディア: 文庫
  • amazon.co.jp詳細へ

新装版 ロードス島戦記 2 炎の魔神 (角川スニーカー文庫)

  • 作者: 水野 良
  • 出版社/メーカー: 角川書店
  • 発売: 2013-11-30
  • ASIN: 4041011140
  • メディア: 文庫
  • amazon.co.jp詳細へ


別冊映画秘宝特撮秘宝vol.5 (洋泉社MOOK 別冊映画秘宝)

  • 出版社/メーカー: 洋泉社
  • 発売: 2016-12-05
  • ASIN: 4800311276
  • メディア: ムック
  • amazon.co.jp詳細へ


2016-11-30 [長年日記]

円環少女 [novel]

実際買ったのはKindleの合本版だけど。

円環少女 (角川スニーカー文庫)

  • 作者: 長谷 敏司
  • 出版社/メーカー: 角川書店
  • 発売: 2005-08-31
  • ASIN: 4044267030
  • メディア: 文庫
  • amazon.co.jp詳細へ

円環少女 (2) 煉獄の虚神(上) (角川スニーカー文庫)

  • 作者: 長谷 敏司
  • 出版社/メーカー: 角川書店
  • 発売: 2006-02-28
  • ASIN: 4044267049
  • メディア: 文庫
  • amazon.co.jp詳細へ

円環少女 (3) 煉獄の虚神(下) (角川スニーカー文庫)

  • 作者: 長谷 敏司
  • 出版社/メーカー: 角川書店
  • 発売: 2006-03-31
  • ASIN: 4044267057
  • メディア: 文庫
  • amazon.co.jp詳細へ

とりあえず3冊分。
実際SFだよね。

宇宙消失 [novel]

ということで円環少女を読んでいる最中、無性に読みたくなったのが

宇宙消失 (創元SF文庫)

  • 作者: グレッグ イーガン
  • 出版社/メーカー: 東京創元社
  • 発売: 1999-08
  • ASIN: 4488711014
  • メディア: 文庫
  • amazon.co.jp詳細へ

で、再読。

実のところ途中まではかなり覚えていたんだけど、後ろの部分は記憶がない。
読み返してみたら、ここから覚えてないぞ、というところから後がすごく面白く何てジェットコースター状態。なのに最後の最後で、えーこんなオチだっけー? ってなったので、なるほど記憶がないのも道理だわ、と思った。


2016-10-30 [長年日記]

2013年のゲーム・キッズ [novel]

買い忘れてた。面白いのは後半に集まっていた印象。
「幽霊の復讐」、「再出発の日」、「全体主義」あたり。

2013年のゲーム・キッズ (星海社文庫)

  • 作者: 渡辺 浩弐
  • 出版社/メーカー: 講談社
  • 発売: 2013-11-08
  • ASIN: 4061389610
  • メディア: 文庫
  • amazon.co.jp詳細へ

絶深海のソラリス [novel]

読んでいる側と、主人公の心を折りにいくライトノベル。珍しい。
基本的に悲劇。
状況が絶望的というだけではなくて、主人公たちの選択が裏目裏目に出るあたりが。ただし悪意ある存在がいるので真の悲劇というわけではないか。

絶深海のソラリス (MF文庫J)

  • 作者: らきるち
  • 出版社/メーカー: KADOKAWA/メディアファクトリー
  • 発売: 2014-03-22
  • ASIN: 4040663918
  • メディア: 文庫
  • amazon.co.jp詳細へ

「鬼畜」の家 [book]

3件の親による子供の虐待死事件についてのノンフィクション。というかルポルタージュ?
陰画をのぞき込むことで、虐待を虐待だと感じる感性をどうやって自分は獲得したのか? ということに思いをめぐらす。
自分たちは違うと安心するためではなく、自分の子どもたちもそうなるように。

「鬼畜」の家:わが子を殺す親たち

  • 作者: 石井 光太
  • 出版社/メーカー: 新潮社
  • 発売: 2016-08-18
  • ASIN: 4103054565
  • メディア: 単行本
  • amazon.co.jp詳細へ

マグダラで眠れ [novel]

キリがいい。
どんでん返しが続く感じで、それが結構面白かった。

マグダラで眠れ (7) (電撃文庫)

  • 作者: 支倉凍砂
  • 出版社/メーカー: KADOKAWA/アスキー・メディアワークス
  • 発売: 2015-09-10
  • ASIN: 4048653849
  • メディア: 文庫
  • amazon.co.jp詳細へ

マグダラで眠れ (8) (電撃文庫)

  • 作者: 支倉凍砂
  • 出版社/メーカー: KADOKAWA/アスキー・メディアワークス
  • 発売: 2016-02-10
  • ASIN: 4048657518
  • メディア: 文庫
  • amazon.co.jp詳細へ

ノーゲーム・ノーライフ [novel]

メモ。

ノーゲーム・ノーライフ7 (MF文庫J)

  • 作者: 榎宮 祐
  • 出版社/メーカー: KADOKAWA/メディアファクトリー
  • 発売: 2015-07-24
  • ASIN: 4040674944
  • メディア: 文庫
  • amazon.co.jp詳細へ

ノーゲーム・ノーライフ (8) ゲーマーたちは布石を継いでいくそうです (MF文庫J)

  • 作者: 榎宮 祐
  • 出版社/メーカー: KADOKAWA/メディアファクトリー
  • 発売: 2015-12-25
  • ASIN: 4040679520
  • メディア: 文庫
  • amazon.co.jp詳細へ