sort 不正なバイト列ですというエラーに対処した話

このドキュメントの内容は、以下の通りです。

はじめに
解決策

はじめに

ハニーポットのログを awk, uniq, sort などを組み合わせて、データを集計していました。

ログデータの中に、特殊なデータがあったのか、下記のエラーが発生しました。

sort: 不正なバイト列です

どういったデータが原因で、問題がおきたのか、調べませんでした。

このエラーと同じだと思われるエラーとして、以下のメッセージもあります。OSや言語によって、メッセージが日本語で出たり、英語で出たりすると思われます。
このメッセージは、Macのsortで表示されました。

sort: string comparison failed: Illegal byte sequence
sort: Set LC_ALL='C' to work around the problem.

解決策

これが良い方法なのかわかりませんが、以下の方法で、エラーにならずに、処理が進められるようになりました。

env LANG=c sort

LANGの設定を変えてやることで、問題は解決しました。問題になったコマンドラインには、２回 sort が出てきましたが、２回とも LANG を指定する必要がありました。

sort を多用するスクリプトで、何度も LANG=c を書きたくないよ、ということであれば、環境変数として設定してしまったほうが早いケースもあると思います。以下に例を示します。

#!/bin/sh
export LANG=c
sort foo
sort bar

いつもシェア、ありがとうございます！

もっと情報を探しませんか？

過去ログ

2020 : 01 02 03 04 05 06 07 08 09 10 11 12
2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12