git.notmuchmail.org Git - notmuch/blob - devel/nmbug/notmuch-report

   1 #!/usr/bin/python
   2 #
   3 # Copyright (c) 2011-2012 David Bremner <david@tethera.net>
   4 #
   5 # dependencies
   6 #       - python 2.6 for json
   7 #       - argparse; either python 2.7, or install separately
   8 #
   9 # This program is free software: you can redistribute it and/or modify
  10 # it under the terms of the GNU General Public License as published by
  11 # the Free Software Foundation, either version 3 of the License, or
  12 # (at your option) any later version.
  13 #
  14 # This program is distributed in the hope that it will be useful,
  15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17 # GNU General Public License for more details.
  18 #
  19 # You should have received a copy of the GNU General Public License
  20 # along with this program.  If not, see http://www.gnu.org/licenses/ .
  21
  22 """Generate text and/or HTML for one or more notmuch searches.
  23
  24 Messages matching each search are grouped by thread.  Each message
  25 that contains both a subject and message-id will have the displayed
  26 subject link to an archive view of the message (defaulting to Gmane).
  27 """
  28
  29 from __future__ import print_function
  30 from __future__ import unicode_literals
  31
  32 import codecs
  33 import collections
  34 import datetime
  35 import email.utils
  36 try:  # Python 3
  37     from urllib.parse import quote
  38 except ImportError:  # Python 2
  39     from urllib import quote
  40 import json
  41 import argparse
  42 import os
  43 import re
  44 import sys
  45 import subprocess
  46 import xml.sax.saxutils
  47
  48
  49 _ENCODING = 'UTF-8'
  50 _PAGES = {}
  51
  52
  53 if not hasattr(collections, 'OrderedDict'):  # Python 2.6 or earlier
  54     class _OrderedDict (dict):
  55         "Just enough of a stub to get through Page._get_threads"
  56         def __init__(self, *args, **kwargs):
  57             super(_OrderedDict, self).__init__(*args, **kwargs)
  58             self._keys = []  # record key order
  59
  60         def __setitem__(self, key, value):
  61             super(_OrderedDict, self).__setitem__(key, value)
  62             self._keys.append(key)
  63
  64         def values(self):
  65             for key in self._keys:
  66                 yield self[key]
  67
  68
  69     collections.OrderedDict = _OrderedDict
  70
  71
  72 class ConfigError (Exception):
  73     """Errors with config file usage
  74     """
  75     pass
  76
  77
  78 def read_config(path=None, encoding=None):
  79     "Read config from json file"
  80     if not encoding:
  81         encoding = _ENCODING
  82     if path:
  83         try:
  84             with open(path, 'rb') as f:
  85                 config_bytes = f.read()
  86         except IOError as e:
  87             raise ConfigError('Could not read config from {}'.format(path))
  88     else:
  89         nmbhome = os.getenv('NMBGIT', os.path.expanduser('~/.nmbug'))
  90         branch = 'config'
  91         filename = 'notmuch-report.json'
  92
  93         # read only the first line from the pipe
  94         sha1_bytes = subprocess.Popen(
  95             ['git', '--git-dir', nmbhome, 'show-ref', '-s', '--heads', branch],
  96             stdout=subprocess.PIPE).stdout.readline()
  97         sha1 = sha1_bytes.decode(encoding).rstrip()
  98         if not sha1:
  99             raise ConfigError(
 100                 ("No local branch '{branch}' in {nmbgit}.  "
 101                  'Checkout a local {branch} branch or explicitly set --config.'
 102                 ).format(branch=branch, nmbgit=nmbhome))
 103
 104         p = subprocess.Popen(
 105             ['git', '--git-dir', nmbhome, 'cat-file', 'blob',
 106              '{}:{}'.format(sha1, filename)],
 107             stdout=subprocess.PIPE)
 108         config_bytes, err = p.communicate()
 109         status = p.wait()
 110         if status != 0:
 111             raise ConfigError(
 112                 ("Missing {filename} in branch '{branch}' of {nmbgit}.  "
 113                  'Add the file or explicitly set --config.'
 114                 ).format(filename=filename, branch=branch, nmbgit=nmbhome))
 115
 116     config_json = config_bytes.decode(encoding)
 117     try:
 118         return json.loads(config_json)
 119     except ValueError as e:
 120         if not path:
 121             path = "{} in branch '{}' of {}".format(
 122                 filename, branch, nmbhome)
 123         raise ConfigError(
 124             'Could not parse JSON from the config file {}:\n{}'.format(
 125                 path, e))
 126
 127
 128 class Thread (list):
 129     def __init__(self):
 130         self.running_data = {}
 131
 132
 133 class Page (object):
 134     def __init__(self, header=None, footer=None):
 135         self.header = header
 136         self.footer = footer
 137
 138     def write(self, database, views, stream=None):
 139         if not stream:
 140             try:  # Python 3
 141                 byte_stream = sys.stdout.buffer
 142             except AttributeError:  # Python 2
 143                 byte_stream = sys.stdout
 144             stream = codecs.getwriter(encoding=_ENCODING)(stream=byte_stream)
 145         self._write_header(views=views, stream=stream)
 146         for view in views:
 147             self._write_view(database=database, view=view, stream=stream)
 148         self._write_footer(views=views, stream=stream)
 149
 150     def _write_header(self, views, stream):
 151         if self.header:
 152             stream.write(self.header)
 153
 154     def _write_footer(self, views, stream):
 155         if self.footer:
 156             stream.write(self.footer)
 157
 158     def _write_view(self, database, view, stream):
 159         # sort order, default to oldest-first
 160         sort_key = view.get('sort', 'oldest-first')
 161         # dynamically accept all values in Query.SORT
 162         sort_attribute = sort_key.upper().replace('-', '_')
 163         try:
 164             sort = getattr(notmuch.Query.SORT, sort_attribute)
 165         except AttributeError:
 166             raise ConfigError('Invalid sort setting for {}: {!r}'.format(
 167                 view['title'], sort_key))
 168         if 'query-string' not in view:
 169             query = view['query']
 170             view['query-string'] = ' and '.join(
 171                 '( {} )'.format(q) for q in query)
 172         q = notmuch.Query(database, view['query-string'])
 173         q.set_sort(sort)
 174         threads = self._get_threads(messages=q.search_messages())
 175         self._write_view_header(view=view, stream=stream)
 176         self._write_threads(threads=threads, stream=stream)
 177
 178     def _get_threads(self, messages):
 179         threads = collections.OrderedDict()
 180         for message in messages:
 181             thread_id = message.get_thread_id()
 182             if thread_id in threads:
 183                 thread = threads[thread_id]
 184             else:
 185                 thread = Thread()
 186                 threads[thread_id] = thread
 187             thread.running_data, display_data = self._message_display_data(
 188                 running_data=thread.running_data, message=message)
 189             thread.append(display_data)
 190         return list(threads.values())
 191
 192     def _write_view_header(self, view, stream):
 193         pass
 194
 195     def _write_threads(self, threads, stream):
 196         for thread in threads:
 197             for message_display_data in thread:
 198                 stream.write(
 199                     ('{date:10.10s} {from:20.20s} {subject:40.40s}\n'
 200                      '{message-id-term:>72}\n'
 201                      ).format(**message_display_data))
 202             if thread != threads[-1]:
 203                 stream.write('\n')
 204
 205     def _message_display_data(self, running_data, message):
 206         headers = ('thread-id', 'message-id', 'date', 'from', 'subject')
 207         data = {}
 208         for header in headers:
 209             if header == 'thread-id':
 210                 value = message.get_thread_id()
 211             elif header == 'message-id':
 212                 value = message.get_message_id()
 213                 data['message-id-term'] = 'id:"{0}"'.format(value)
 214             elif header == 'date':
 215                 value = str(datetime.datetime.utcfromtimestamp(
 216                     message.get_date()).date())
 217             else:
 218                 value = message.get_header(header)
 219             if header == 'from':
 220                 (value, addr) = email.utils.parseaddr(value)
 221                 if not value:
 222                     value = addr.split('@')[0]
 223             data[header] = value
 224         next_running_data = data.copy()
 225         for header, value in data.items():
 226             if header in ['message-id', 'subject']:
 227                 continue
 228             if value == running_data.get(header, None):
 229                 data[header] = ''
 230         return (next_running_data, data)
 231
 232
 233 class HtmlPage (Page):
 234     _slug_regexp = re.compile('\W+')
 235
 236     def __init__(self, message_url_template, **kwargs):
 237         self.message_url_template = message_url_template
 238         super(HtmlPage, self).__init__(**kwargs)
 239
 240     def _write_header(self, views, stream):
 241         super(HtmlPage, self)._write_header(views=views, stream=stream)
 242         stream.write('<ul>\n')
 243         for view in views:
 244             if 'id' not in view:
 245                 view['id'] = self._slug(view['title'])
 246             stream.write(
 247                 '<li><a href="#{id}">{title}</a></li>\n'.format(**view))
 248         stream.write('</ul>\n')
 249
 250     def _write_view_header(self, view, stream):
 251         stream.write('<h3 id="{id}">{title}</h3>\n'.format(**view))
 252         stream.write('<p>\n')
 253         if 'comment' in view:
 254             stream.write(view['comment'])
 255             stream.write('\n')
 256         for line in [
 257                 'The view is generated from the following query:',
 258                 '</p>',
 259                 '<p>',
 260                 '  <code>',
 261                 view['query-string'],
 262                 '  </code>',
 263                 '</p>',
 264                 ]:
 265             stream.write(line)
 266             stream.write('\n')
 267
 268     def _write_threads(self, threads, stream):
 269         if not threads:
 270             return
 271         stream.write('<table>\n')
 272         for thread in threads:
 273             stream.write('  <tbody>\n')
 274             for message_display_data in thread:
 275                 stream.write((
 276                     '    <tr class="message-first">\n'
 277                     '      <td>{date}</td>\n'
 278                     '      <td><code>{message-id-term}</code></td>\n'
 279                     '    </tr>\n'
 280                     '    <tr class="message-last">\n'
 281                     '      <td>{from}</td>\n'
 282                     '      <td>{subject}</td>\n'
 283                     '    </tr>\n'
 284                     ).format(**message_display_data))
 285             stream.write('  </tbody>\n')
 286             if thread != threads[-1]:
 287                 stream.write(
 288                     '  <tbody><tr><td colspan="2"><br /></td></tr></tbody>\n')
 289         stream.write('</table>\n')
 290
 291     def _message_display_data(self, *args, **kwargs):
 292         running_data, display_data = super(
 293             HtmlPage, self)._message_display_data(
 294                 *args, **kwargs)
 295         if 'subject' in display_data and 'message-id' in display_data:
 296             d = {
 297                 'message-id': quote(display_data['message-id']),
 298                 'subject': xml.sax.saxutils.escape(display_data['subject']),
 299                 }
 300             d['url'] = self.message_url_template.format(**d)
 301             display_data['subject'] = (
 302                 '<a href="{url}">{subject}</a>'
 303                 ).format(**d)
 304         for key in ['message-id', 'from']:
 305             if key in display_data:
 306                 display_data[key] = xml.sax.saxutils.escape(display_data[key])
 307         return (running_data, display_data)
 308
 309     def _slug(self, string):
 310         return self._slug_regexp.sub('-', string)
 311
 312 parser = argparse.ArgumentParser(description=__doc__)
 313 parser.add_argument('--text', help='output plain text format',
 314                     action='store_true')
 315 parser.add_argument('--config', help='load config from given file',
 316                     metavar='PATH')
 317 parser.add_argument('--list-views', help='list views',
 318                     action='store_true')
 319 parser.add_argument('--get-query', help='get query for view',
 320                     metavar='VIEW')
 321
 322 args = parser.parse_args()
 323
 324 try:
 325     config = read_config(path=args.config)
 326 except ConfigError as e:
 327     print(e, file=sys.stderr)
 328     sys.exit(1)
 329
 330 header_template = config['meta'].get('header', '''<!DOCTYPE html>
 331 <html lang="en">
 332 <head>
 333   <meta http-equiv="Content-Type" content="text/html; charset={encoding}" />
 334   <title>{title}</title>
 335   <style media="screen" type="text/css">
 336     h1 {{
 337       font-size: 1.5em;
 338     }}
 339     h2 {{
 340       font-size: 1.17em;
 341     }}
 342     h3 {{
 343       font-size: 100%;
 344     }}
 345     table {{
 346       border-spacing: 0;
 347     }}
 348     tr.message-first td {{
 349       padding-top: {inter_message_padding};
 350     }}
 351     tr.message-last td {{
 352       padding-bottom: {inter_message_padding};
 353     }}
 354     td {{
 355       padding-left: {border_radius};
 356       padding-right: {border_radius};
 357     }}
 358     tr:first-child td:first-child {{
 359       border-top-left-radius: {border_radius};
 360     }}
 361     tr:first-child td:last-child {{
 362       border-top-right-radius: {border_radius};
 363     }}
 364     tr:last-child td:first-child {{
 365       border-bottom-left-radius: {border_radius};
 366     }}
 367     tr:last-child td:last-child {{
 368       border-bottom-right-radius: {border_radius};
 369     }}
 370     tbody:nth-child(4n+1) tr td {{
 371       background-color: #ffd96e;
 372     }}
 373     tbody:nth-child(4n+3) tr td {{
 374       background-color: #bce;
 375     }}
 376     hr {{
 377       border: 0;
 378       height: 1px;
 379       color: #ccc;
 380       background-color: #ccc;
 381     }}
 382   </style>
 383 </head>
 384 <body>
 385 <h1>{title}</h1>
 386 <p>
 387 {blurb}
 388 </p>
 389 <h2>Views</h2>
 390 ''')
 391
 392 footer_template = config['meta'].get('footer', '''
 393 <hr>
 394 <p>Generated: {datetime}</p>
 395 </body>
 396 </html>
 397 ''')
 398
 399 now = datetime.datetime.utcnow()
 400 context = {
 401     'date': now,
 402     'datetime': now.strftime('%Y-%m-%d %H:%M:%SZ'),
 403     'title': config['meta']['title'],
 404     'blurb': config['meta']['blurb'],
 405     'encoding': _ENCODING,
 406     'inter_message_padding': '0.25em',
 407     'border_radius': '0.5em',
 408     }
 409
 410 _PAGES['text'] = Page()
 411 _PAGES['html'] = HtmlPage(
 412     header=header_template.format(**context),
 413     footer=footer_template.format(**context),
 414     message_url_template=config['meta'].get(
 415         'message-url', 'http://mid.gmane.org/{message-id}'),
 416     )
 417
 418 if args.list_views:
 419     for view in config['views']:
 420         print(view['title'])
 421     sys.exit(0)
 422 elif args.get_query != None:
 423     for view in config['views']:
 424         if args.get_query == view['title']:
 425             print(' and '.join('( {} )'.format(q) for q in view['query']))
 426     sys.exit(0)
 427 else:
 428     # only import notmuch if needed
 429     import notmuch
 430
 431 if args.text:
 432     page = _PAGES['text']
 433 else:
 434     page = _PAGES['html']
 435
 436 db = notmuch.Database(mode=notmuch.Database.MODE.READ_ONLY)
 437 page.write(database=db, views=config['views'])