<<< оглавление >>>

руководство пользователя для gnu awk

arnold d. robbins
перевод балуева а. н.

5. чтение входных файлов

5.6 чтение данных фиксированной ширины

(в этом разделе обсуждается новая, экспериментальная возможность. если вы еще неопытный пользователь awk, можете пропустить это при первом чтении.) в версии gawk 2.13 введено новое средство для действий с полями фиксированной ширины без распознавания разделителей полей. данные этой природы появляются, например, на входе старых fortran-программ, где числа примыкают друг к другу; или на выходе программ, которые не предусматривают их использования в качестве входа других программ. примером последних может служить таблица, где все столбцы выпрямленным использованием переменного числа пробелов и пустые поля заполнены пробелами. ясно, что принятое в awk нормальное разделение полей с помощью fs неудобно в этом случае. хотя переносимые awk-программы могут использовать последовательность вызовов substr для $0 (см. раздел 12.3 [встроенные функции для действий со строками], стр. 137), это громоздко и неэффективно при большом числе полей.

разделение входной строки на поля фиксированной ширины указывается посредством присваивания цепочки, содержащей разделенные пробелами числа, встроенной переменной fieldwidths. каждое число указывает ширину поля, включая столбцы между полями. если нужно игнорировать колонки между полями, можно указывать ширину как отдельное поле, которое впоследствии игнорируется.

следующие данные представляют выход утилиты unix w. они полезны для иллюстрации использования fieldwidths. 


10:06pm up 21 days,
14:04, 23 users
user tty login idle jcpu pcpu what
hzuottyv0 8:58pm 9 5 vi p24.tex hzang ttyv3
6:37pm 50 -csh eklye ttyv5 9:53pm
7 1 em thes.tex dportein ttyv6 8:17pm
1:47 -csh gierd ttyd3 10:00pm 1 elm
dave ttyd4 9:47pm 4 4 w brent ttyp0
26jun91 4:46 26:46 4:41 bash dave ttyq4
26jun9115days 46 46 wnewmail

следующая программа читает приведенный выше выход, переводит время простоя (idle time) в секунды и печатает первые два поля и вычисленное время простоя. (это программа использует несколько средств awk, которые еще не рассматривались.) 

begin - fieldwidths = "9 6 10 6 7 7 35" "" nr ? 2 -
idle = $4 sub(/^ */, "", idle) # strip leading spaces if (idle == "")
idle = 0 if (idle ~ /:/) -
split(idle, t, ":") idle = t[1] * 60 + t[2] "" if (idle ~ /days/)
idle *= 24 * 60 * 60
print $1, $2, idle ""

здесь приведен результат выполнения программы program на данных:

hzuo ttyv0 0 hzang ttyv3 50 eklye ttyv5 0
dportein ttyv6 107 gierd ttyd3 1
dave ttyd4 0 brent ttyp0 286
dave ttyq4 1296000

другой (возможно, более практичный) пример входных данных фиксированной ширины представляет ввод колоды выборных карточек. в некоторых регионах сша избиратели показывают свой выбор отверстиями в перфокартах. затем эти карточки обрабатываются для подсчета голосов в пользу каждого кандидата или какого-нибудь определенного предпочтения.

поскольку голосующий может не голосовать по некоторой альтернативе, любая колонка карты может быть пустой. awk-программа для обработки таких данных может использовать средство fieldwidths для упрощения чтения данных. (конечно, получить gawk, которая работает на системе с чтением перфокарт, составляет отдельную задачу!)

присваивание некоторого значения fs побуждает gawk вернуться к использованию fs для разделения полей. используйте `fs = fs' для этого, не зная текущего значения fs.

обсуждаемое средство еще экспериментально и может быть переработано со временем. заметим в частности, что gawk не пытается проверить правильность значений, составляющих значение fieldwidths.

5.7 многострочные записи

в некоторых базах данных одна строка не может удобно содержать информацию одной записи. в таких случаях можно использовать многострочные записи. первым шагом на этом пути должен быть выбор формата данных: если записи не определены как отдельные строки, как их определять? что должно их разделять? одна из возможностей состоит в выборе особого символа или строки для их разделения. например, можно использовать прогон страницы (записываемый как `"f' в awk, аналогично тому как в си), рассматривая каждую запись как страницу в файле. чтобы сделать это, присвойте переменной rs значение ""f" (цепочка, содержащая символ конца страницы). может также использоваться любой другой символ, не являющийся частью данных в записи.

другая техника состоит в использовании пустых строк для разделения записей. по специальному соглашению пустая цепочка как значение rs может указывать, что записи разделяются одной или более пустыми строками. если установить rs на пустую цепочку, запись всегда оканчивается на первой прочтенной пустой строке. и следующая запись не начинается, пока не появится первая непустая строка, следующая за любым количеством пустых строк, рассматриваемых как разделитель записей.

того же самого эффекта, как от `rs = ""', можно достичь, присваивая rs цепочки ""n"n+". это regexp соответствует newline в конце записи и одной или более пустых строк после записи. кроме того, всякое регулярное выражение всегда соответствует наиболее длинной возможной последовательности, когда имеется возможность выбора (см. раздел 4.6 [какая порция текста соответствует?], стр. 34). так что следующая запись не начинается, пока не будет достигнута первая непустая строка, перед которой было сколько угодно пустых строк подряд, рассматриваемых как один разделитель записей.

имеется важное различие между `rs = ""' и `rs = ""n"n+"'. в первом случае ведущие символы newline во входном файле данных игнорируются, и если файл оканчивается без дополнительных пустых строк после последней записи, конечная newline удаляется из записи. во втором случае такая специальная обработка не производится (d.c.).

теперь, когда ввод разделен на записи, следующий шаг состоит в разделении полей в записи. один путь состоит в разделении каждой строки на поля обычным образом. это происходит по умолчанию в результате следующей особенности: когда rs присвоена пустая цепочка string, символ newline всегда действует как разделитель полей. это происходит дополнительно к всякому разделителю полей, проистекающему от fs. исходным мотивом для этого специального исключения было, по-видимому, намерение добиться полезного поведения в случае действия по умолчанию (т.е. когда fs равно " "). но это может привести к проблемам, если вы не хотите, чтобы символ newline разделял поля, поскольку нет способа предотвратить такое действие. но можно обойти ситуацию, используя функцию split для расчленения записи вручную (см. раздел 12.3 [встроенные функции для действий со строками], стр. 137).

другой путь для отделения полей есть расположение полей на разных строках: чтобы сделать это, достаточно присвоить переменной fs цепочку ""n". (это простое регулярное выражение соответствует одиночной newline.) практическим примером файла данных, организованного таким образом, может быть список адресов, где члены списка разделены пустыми строками. если список адресов находится в файле с именем `addresses', он выглядит примерно так: 

jane doe 123 main street anywhere, se 12345-6789
john smith 456 tree-lined avenue smallville, mw 98765-4321
...

простая программа обработки такого
файла будет подобна следующей:

# addrs.awk --- простая программа для список адресов
# записи разделены пустыми строками.
# каждая запись состоит из одного поля.
begin - rs = "" ; fs = ""n" ""
-
print "name is:", $1 print "address is:",
$2 print "city and state are:",
$3 print "" ""

исполнение программы породит следующий выход:


$ awk -f addrs.awk addresses
a name is: jane doe
a address is: 123 main street
a city and state are: anywhere, se 12345-6789
a
a name is: john smith
a address is: 456 tree-lined avenue
a city and state are: smallville, mw 98765-4321
a...

см. раздел 16.2.4 [печать почтовых меток], стр. 233, где имеются более интересные программы с адресными списками. следующая таблица содержит краткие сведения о разделении записей с помощью значения rs. (`==' означает "имеет значение")

rs == ""n" записи разделены символами newline (`"n'). в действительности, каждая строка в файле данных есть отдельная запись, включающая пустые строки. это --- действия по умолчанию.

rs == любой одиночный символ записи разделяются вхождениями этого символа. кратные последовательные вхождения ограничивают пустые записи.

rs == "" записи разделяются группами пустых строк. символ newline всегда означает разделитель полей, в дополнение к любому значению в fs. ведущие и заключительные newline в файле игнорируются.

rs == regexp записи разделяются вхождениями символов, соответствующих regexp. ведущие и заключительные соответствия regexp ограничивают пустые записи.

во всех случаях gawk присваивает rt входной текст, соответствующий значению, указанному в rs.

5.8 явный ввод по команде getline

до сих пор мы получали наши входные данные из главного входного потока awk, т.е. или из стандартного устройства ввода (обычно ваш терминал, иногда от выхода другой программы), или из файлов, указанных в командной строке. язык awk имеет специальную встроенную команду, называемую getline, которую можно использовать для чтения ввода под явным контролем пользователя.

5.8.1 введение для getline

эта команда используется несколькими различными способами и не рекомендуется для начинающих. она описывается здесь потому, что вся настоящая глава посвящена вводу. примеры, которые следуют за объяснениями действий getline, содержат материал, который еще не описывался. поэтому мы рекомендуем вам вернуться назад для изучения команды getline после того, как вы познакомитесь с остальной частью книги и приобретете твердые знания того, как работает awk.

getline возвращает код 1, если нашла запись, и код 0 если обнаружила конец файла. если при поиске записи обнаружено, что файл нельзя открыть, то getline выдает \gamma 1. в таком случае gawk устанавливает в переменной errno цепочку с описанием случившейся ошибки. в последующих примерах слово command заменяет значение цепочки, представляющей команду оболочки.

5.8.2 использование getline без аргументов

команда getline без аргументов может использоваться для чтения из текущего входного файла. все, что она делает в этом случае, состоит в чтении следующей входной записи и расчленении ее на поля. это полезно, если вы закончили обработку текущей записи и хотите подвергнуть следующую запись какой-то специальной обработке. 

рассмотрим пример:

awk '-
if ((t = index($0, "/*")) != 0) -
# value will be "" if t is 1 tmp = substr($0, 1, t - 1) u = index
(substr($0, t + 2), "*/") while (u == 0) -
if (getline != 0) -
m = "unexpected eof or error" m = (m ": " errno) print m ? "/dev/stderr"
 exit "" t = -1 u = index($0, "*/") "" # substr expression will be "" if */
# occurred at end of line $0 = tmp substr($0, t + u + 3) "" print $0 ""'

эта awk-программа удаляет все комментарии cи-типа, `/* ... */', из ввода. посредством замены `print $0' другими операторами вы можете осуществить более сложную обработку ввода с удаленными комментариями, такую как поиск соответствий регулярному выражению. эта программа имеет один недостаток --- она не работает, если один комментарий кончается, а другой начинается на той же строке.

эта форма команды getline устанавливает nf (количество полей; см. раздел 5.2 [обследование полей], стр. 40), nr (количество прочитанных пока записей; см. раздел 5.1 [как ввод разделяется на записи, стр. 37), fnr (количество записей, прочитанных и текущего файла) и значение $0.

замечание: новое значение $0 используется для проверки образцов любых последующих правил. исходное значение $0, которое вызвало правило с выполнением getline, пропадает (d.c.). в отличие от этого, следующий оператор читает новую запись и немедленно начинает ее обработку нормальным образом, начиная с первого правила в программе. см. раздел 9.7 [следующий оператор], стр.111.

5.8.3 использование getline в переменную

можно воспользоваться `getline var' для чтения следующей записи из ввода awk в переменную. никакой другой обработки при этом не происходит. например, предположим, что следующая строка есть комментарий или некоторая специальная цепочка и вы хотите прочесть ее без употребления каких-нибудь правил. эта форма getline позволяет вам прочесть эту строку и запомнить ее в переменной так что главный цикл читать-строку-и-проверять-каждое-правило ее никогда не обнаружит. 

следующий пример переставляет каждую пару строк в вводе.

пусть заданы:

wan tew free phore

тогда он выдаст:

tew wan phore free

вот эта программа:

awk '-
if ((getline tmp) ? 0) -
print tmp print $0 "" else
print $0 ""'

такая форма getline устанавливает только переменные nr and fnr (и, конечно, var). запись не разделяется на поля, так что значения полей (включая $0) и значение nf не меняются.

5.8.4 употребление getline из файла

в начало страницы

`getline ! file' используется для чтения следующей записи из файла file. здесь file есть выражение со значением цепочки, указывающей имя файла. `! file' называется перенаправлением, поскольку пере направляет ввод на другой источник. например, следующая программа читает свои входные записи из файла `secondary.input' после обнаружения первого поля со значением, равным 10 в текущем входном файле. 

awk '-
if ($1 == 10) -
getline ! "secondary.input" print "" else
print ""'

поскольку главный входной поток не используется, значения nr и fnr не меняются. но прочтенная запись разделяется на поля нормальным образом, так что значения $0 и других полей изменяются. а также значение nf.

в соответствии с posix, `getline ! expression' не определено, если expression содержит операторы без скобок, отличные от `$'; например , `getline ! dir "/" file' не определено, поскольку оператор конкатенации не заключен в скобки. нужно писать `getline ! (dir "/" file)', если вы хотите, чтобы ваша программа была переносимой на другие реализации awk.

5.8.5 использование getline в переменную из файла

команда `getline var ! file' используется для чтения ввода из файла file и помещения его в переменную var. как и выше, file означает выражение со значением цепочки, которое определяет файл для чтения. в этом варианте getline ни одна из встроенных переменных не меняется и запись не разделяется на поля. изменяется только переменная var.

например, следующая программа копирует все входные файлы на выход, за исключением записей вида: `@include filename'. каждая такая запись заменяется содержимым файла filename. 

awk '-
if (nf == 2 && $1 == "@include") -
while ((getline line ! $2) ? 0)
print line close($2) "" else
print ""'

заметим, что здесь имя дополнительного входного файла не встроено в программу; оно берется из данных, a из второго поля в строке `@include'. функция close вызывается для обеспечения того, что если две одинаковых строки `@include' появятся во вводе, то весь указанный файл будет включен дважды. см. раздел 6.8 [закрытие входных и выходных файлов и конвейеры], стр. 74.

недостаток этой программы в том, что она не обрабатывает вложенные `@include' (операторы `@include' в включаемых файлах) так, как это делает макро-препроцессор. см. раздел 16.2.9 [простой способ использования библиотечных функций], стр. 244, о программах, которые обрабатывают вложенные операторы `@include'.

5.8.6 использование getline из конвейера

можно передавать конвейером (pipe) выход от command к getline, используя `command -- getline'. в таком случае слово command исполняется как команда оболочки и ее выход передается в awk для использования в качестве ввода. эта форма getline читает за раз одну запись из конвейера.

например, следующая программа копирует ее ввод на вывод, за исключением строк, которые начинаются с `@execute'; такие строки заменяются выходом, полученным при выполнении остатка строки в качестве команды оболочки. 

awk '-
if ($1 == "@execute") -
tmp = substr($0, 10) while ((tmp -- getline) ? 0)
print close(tmp) "" else
print ""'

функция close вызывается для того, чтобы в случае двух идентичных строк `@execute' во входе команда command выполнялась для каждой из них. см. раздел 6.8 [закрытие входных и выходных файлов и конвейеры], стр. 74. 

пусть задан ввод:

foo bar baz @execute who bletch

программа может выдать:

foo bar baz arnold ttyv0
jul 13 14:22 miriam ttyp0
jul 13 14:23 (murphy:0)
bill ttyp1
jul 13 14:23 (murphy:0) bletch

заметим, что эта программа выполняет команду who и печатает результат. (если вы сами запустите эту программу, вы получите, конечно, другой результат, показывающий вам, кто сейчас работает на вашей системе.)

этот вариант getline разделяет записи на поля, устанавливает значение nf и пере вычисляет значение $0. значения nr и fnr не меняются. в соответствии с posix, `expression -- getline' не определена, если expression содержит не заключенные в скобки операторы, отличные от `$'; например, `"echo " "date" -- getline' не определена, так как конкатенация не заключена в скобки, нужно писать `("echo " "date") -- getline', чтобы программа была переносимой на другие реализации awks. (бывает, что gawk ее выполнит правильно, но на это не надо полагаться. во всяком случае, скобки делают программу легче читаемой.)

5.8.7 использование getline в переменную из конвейера

если вы употребите `command -- getline var', выход команды command будет послан по конвейеру в getline и в переменную var. например, следующая программа читает текущие дату и время в переменную current.time, используя утилиту date, а затем печатает значение переменной. 

awk 'begin -
"date" -- getline current.time close("date")
print "report printed on "
current.time ""'

в этой версии getline не меняется ни одна из встроенных переменных и запись не разделяется на поля.

5.8.8 сводка вариантов getline

для всех форм getline, даже если $0 и nf обновляются, запись не проверяется по отношению к всем образцам в awk-программе, так, как это было бы в случае чтения записи нормально, в главном цикле обработки awk. однако, новая запись проверяется по каждому последующему правилу.

многие реализации awk ограничивают количество конвейеров, которые может открыть awk-программа, только одним! в gawk такого ограничения нет. можн открыть столько конвейеров, сколько позволяет операционная система.

интересный побочный эффект может случиться, если вы используете getline (без перенаправлений) внутри правила begin. поскольку не перенаправленная getline читает из файлов данных командной строки, первая команда getline заставляет awk установить значение в filename. нормально filename не имеет значения внутри правил begin, поскольку еще не началась обработка файлов с данными, указанных в командной строке (d.c.). (см. раздел 8.1.5 [специальные образцы begin и end], стр. 100, и раздел 10.2 [встроенные переменные, которые передают информацию], стр. 117.)

следующая таблица подводит итог шести вариантам getline и перечисляет встроенные переменные, которые устанавливаются в каждом из вариантов. 

getline устанавливает  $0, nf, fnr and nr.
getline var устанавливает  var, fnr and nr.
getline ! file устанавливает  $0 and nf.
getline var ! file устанавливает var.
command -- getline устанавивает  $0 и and nf.
command -- getline var устанавливает  var.

<<< оглавление >>>