Perlモジュール libwwwでOut of memory
スポンサーリンク
Perlモジュールlibwwwの LWP:::UserAgentでコンテンツを取得するプログラムが Out of memory というエラーメッセージを残して、終了してしまいました。
どうやら、 request()でコンテンツをまとめて受信していたのがまずかったようです。
このOut of memory問題を解決するために、データを受信次第、処理するプログラムに変更しました。
request()の第2引数に処理を指定することで、データを受信したときに処理することができるようになります。
コンテンツが圧縮されているときは、パイプで zcat コマンドに渡しています。
Perl
どうやら、 request()でコンテンツをまとめて受信していたのがまずかったようです。
my $response = $ua->request( HTTP::Request->(GET=>$url) );
このOut of memory問題を解決するために、データを受信次第、処理するプログラムに変更しました。
request()の第2引数に処理を指定することで、データを受信したときに処理することができるようになります。
my $response = $ua->request( HTTP::Request->(GET=>$url), sub { my ($chunk, $response) = @_; # $chunk を処理する。 # print $chunk; });
コンテンツが圧縮されているときは、パイプで zcat コマンドに渡しています。
#!/usr/local/bin/perl -w use strict; my $url = 'http://honyaku.yahoo.co.jp/'; use LWP::UserAgent; my $ua = LWP::UserAgent->new; my $response; my $first = 1; my $zopen = 0; my $out = *STDOUT; $ua->request(HTTP::Request->new(GET => $url), sub{ my ($chunk, $response) = @_; if ($first) { $first = 0; if ($response->code != 200) { # error die "error"; } if ( $response->content_encoding eq "gzip" ) { open (Z, "| /usr/bin/zcat") or die "can not open zcat: $!"; $zopen = 1; $out = *Z; } } print $out $chunk; }); close(Z) if ($zopen);
Perl
スポンサーリンク
スポンサーリンク
いつもシェア、ありがとうございます!
もっと情報を探しませんか?
関連記事
最近の記事
- パナソニック ジェットウォッシャードルツ EW-DJ61-Wのホースの修理
- LinuxセキュリティモジュールIntegrity Policy Enforcement
- アマゾンのEcho Show 5を買ったのでレビューします
- アマゾンのサイバーマンデーはAlexa Echo Show 5が安い
- Android スマートフォン OnePlus 7T と OnePlus 7の違い
- Android スマートフォン OnePlus 7 をAndroid10にアップデートしてみた
- クレジットカードのバーチャルカードの比較のまとめ
- 活動量計 Xiaomi Mi Band 4を買ってみたのでレビュー
- Android スマートフォン OnePlus 7 のレビュー
- AliExpressでスマートフォンを買い物してみた
- パソコンのホコリ対策 レンジフードフィルターと養生テープ
- 80PLUS GOLDのPC電源ユニットAntec NeoEco 750 Goldのレビュー
- イギリスの付加価値税 VAT は払い戻しを受けられる
- イギリスのロンドンでスーツケースなど荷物を預けられる場所は
- イギリスのロンドンで地下鉄やバスに乗るならオイスターカードを使おう
- イギリスのヒースロー空港からロンドン市内への行き方
- 航空便でほかの航空会社に乗り継ぎがある場合のオンラインチェックイン
- SFC会員がANA便ではなくベトナム航空のコードシェアを試して解ったこと
- ベトナムの入国審査でeチケットの掲示が必要だった話
- シアトルの交通ICカードはオルカカード(Orca)です
人気のページ
- Windows7 IME 辞書ツールで単語の登録に失敗しました
- C言語 popen()でコマンドを実行して出力を読み込む
- Windows7で休止状態にする方法
- CentOS MySQLの起動、停止、再起動
- loggerコマンドでsyslogにエラーを出力する方法
- パソコンパーツの買取をしてくれる店のまとめ
- Java Mapの使い方 get(),put(),remove(),size(),clear()
- 楽天のRポイントカードを作ってみた
- iPhone 5 から iPhone 6 に乗り換えたのでレビュー
- netstatコマンドのステータスの意味
スポンサーリンク
過去ログ
2020 : 01 02 03 04 05 06 07 08 09 10 11 122019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12